导读卡内基梅隆大学(CMU)的研究小组最近进行了一项研究，探讨了使用声音开发具有更先进传感功能的机器人的可能性。他们的论文发表在《机器人技
卡内基梅隆大学(CMU)的研究小组最近进行了一项研究，探讨了使用声音开发具有更先进传感功能的机器人的可能性。他们的论文发表在《机器人技术：科学与系统》上，介绍了迄今为止最大的声音动作视觉数据集，该数据集是作为一个称为Tilt-Bot的机器人平台收集的，并与各种对象进行了交互。
“在机器人学习中，我们通常仅使用视觉输入进行感知，但是人类拥有的感知方式不仅仅是视觉。”进行这项研究的研究人员之一Lerrel Pinto对TechXplore说。“声音是学习和理解我们的物理环境的关键组成部分。因此，我们提出了一个问题：声音可以用机器人学买我们吗?为了回答这个问题，我们创建了Tilt-Bot，该机器人可以与物体交互并收集物体。互动的大规模视听数据集。”
本质上讲，Tilt-Bot是一种自动托盘，可以倾斜物体直到它们碰到托盘的一面墙。Pinto和他的同事在机械手托盘的墙壁上放置了接触式麦克风，以记录物体撞击墙壁时产生的声音，并使用高架摄像头直观地捕捉每个物体的运动。
研究人员收集了与60个不同对象进行的超过15,000次Tilt-Bot交互的视觉和音频数据。这使他们能够编译一个新的图像和音频数据集，这可以帮助训练机器人在动作，图像和声音之间建立关联。
Pinto和他的同事在论文中使用此数据集来探索机器人应用程序中声音与动作之间的关系，并收集了许多有趣的发现。首先，他们发现分析物体移动和撞击表面的声音记录可以使机器区分不同的物体，例如区分金属螺丝刀和金属扳手。