怎么用ai说话?AI学会狗叫了
人气:133 ℃/2024-03-05 04:26:34
看到一张狗的图片,就能播放狗的叫声,听到老虎的叫声,就能知道是老虎,并且给出老虎的照片?AI的能力真是日新月异!
Facebook 昨天发布了 ImageBind 模型论文——ImageBind: Holistic AI learning across six modalities。
简单来说,这个开源模型,可以同时学习来自六种传感器的信息,以便机器可以更好地理解和处理现实世界的各种信息。
1. 深度计 2. 红外传感器 3. 惯性测量单元(Inertial Measurement Units,简称IMU。是由陀螺仪、加速度计和可能还带有磁力计或其他传感器组成的设备。IMU 能够测量物体在空间中的线性加速度和角速度,并可以通过积分这些测量值来计算物体的速度和位置。) 看了下论文和 Demo:
1. 训练方法应该是将声音、深度计、红外等数据的向量空间都对齐到图像 Embedding 2. 这个模型并不是特别擅长内容生成(支持通过音频生成图片,但效果一般)。它更擅长对这些数据建立连接,换成场景来解释,更适合「搜索」,比如你可以用一段「狗的叫声」搜索到「狗的图片」,也可以通过一张「老虎的图片」反向搜索到「老虎的叫声」以及适合老虎图片的配乐。甚至可以结合,比如一段「狗的叫声」加一张「海边的图片」,搜索到「狗站在海边的图片」。
利好各种剪辑工具,以及资料存储器。还有视频平台,感觉未来用户能直接通过文字搜索到视频里的内容,而不需要像现在都是靠标题和描述。
感兴趣的可以试试这个Demo:
https://imagebind.metademolab.com/demo
推荐
- 1狗狗不让别的狗来家怎么办?带狗狗去外面吃饭餐厅不让进狗咋办447
- 2乐视网退市了,贾跃亭还钱了吗?乐视网退市了,贾跃亭还钱105
- 3哪种鹦鹉好养又不容易养?很多人都喜欢养这三种鹦鹉的原因156
- 4倭寇的踪迹是真实的历史吗?埋倭山,前唠唠倭寇那些事儿235
- 5羊得了链球菌的症状有哪些?发病急,病羊发热败血症132
- 6宠物猫一般喂什么食物最好?宠物猫怎么喂养吃什么413
- 7狗狗去世第五天了它的灵魂在哪 主人离世后狗狗在墓前守了10多年126
- 8零利息买车都是套路吗?零利率购车藏猫腻要买车先200
- 9优加教育晋升 优加案例分享呼名反应训练277
- 10猫咪肠胃不好时候可以吃小鱼干么 猫咪绝对不能吃的7种食物大公开499