机器之心发布

机器之心编辑部注意到，在操作数据对于人形机器人操作技能学习的重要性日益凸显的背景下，如何有效地从现实世界中获取操作数据的完整状态成了一个关键议题。
考虑到人类庞大的人口基数以及进行复杂操作的直观性与可扩展性，人形机器人如果能够有效地获取并利用人类操作数据，将极大地提升其操作技能和适应能力。

针对这一问题，穹彻智能团队携手上海交通大学卢策吾和刘景全团队，意识到分布式触觉技术在重建完整人类操作中的关键作用。
当操作被遮挡时，触觉可以作为视觉的有效补充，从而一同还原出操作区域的形变状态、接触力位点和大小。
为此，该团队提出了一种全新的视觉-触觉联合记录和追踪系统，名为ViTaM。

ViTaM系统的核心构成

ViTaM系统包括一个可伸缩的触觉手套与一个基于视觉-触觉的联合学习框架。
其中，触觉手套是该系统的硬件基础，拥有高达1152个触觉传感通道，可以捕捉手部与物体之间的交互力。
该手套的设计不仅能够精确捕捉力感信息，还具备高适配性和舒适性，适用于多种实际应用场景。

而对于软件的层面，系统利用了一个视觉-触觉联合学习框架在几何层面上估计手-物体的状态。
对于刚体和可形变物体，系统都能进行高水准的重建，适应不同类型的物体，如纸杯、橡皮泥、剪刀等日常生活中常见的物体。

系统的挑战与解决方案

在操作过程中，手部与物体接触的力分布能够帮助揭示因形变而发生的几何变化。
由于形变区域几乎具备无限的自由度，完全估算物体形变的几何形状一直是一个难题。
团队认为，需要视觉观测来弥补触觉手套的局限性，从而恢复完整的物体几何形态。
这种视觉-触觉交互机制与人类的认知过程高度相似。

为了解决这个问题，团队制作了视觉-触觉数据集，涵盖24种物体、6个类别，包括海绵、橡皮泥、瓶子和杯子等可形变物体，以及折叠架和剪刀等刚性物体。
在此基础上，团队提出了一个模型来预测物体的几何形状。
全局和局部特征均从视觉和触觉输入中提取，并基于手部的区块位置进行融合。
利用时间交叉注意模块计算每点特征，预测采样位置的力分布，并通过行进立方体算法重建物体几何形状。

实验验证

为了验证系统的有效性，团队进行了两方面的实验：触觉手套与可形变物体交互分析，以及视觉-触觉联合学习的物体重建效果评估。

在触觉手套与可形变物体交互分析中，团队设计了一个动态的饺子制作任务，使用软橡皮泥作为高度可形变的物体进行实验。
实验结果展示了手掌和手指在操作过程中对橡皮泥的力分布进行了精确的捕捉。

在物体重建效果评估中，团队展示了海绵、剪刀和折叠架等物体的重建结果。
通过与纯视觉结果的对比，证明了视觉-触觉联合学习的优越性。
定量指标的比较也证明了ViTaM系统在实际数据下的优异性能。

结论与未来展望

本文提出了一种用于操作的视觉-触觉联合记录与追踪系统ViTaM，通过融合视觉和触觉数据，揭示了手物交互过程中的被遮挡状态。
该系统的核心是可伸缩的触觉手套与视觉-触觉联合学习框架。
实验结果证明了系统在重建各种物体时的有效性。

展望未来，ViTaM系统将被集成到机器人表面覆盖的电子皮肤中，实现与周围环境的无缝互动。
这一进步将极大地提升机器人的环境感知和适应能力，推动智能机器人技术迈向更加先进和实用的新阶段。
捕捉和恢复人类操作过程中的动态状态将有助于更好地理解人类行为，并推动从物体特定操作到通用操作场景的技术进步。

标签： 触觉、 信号、 动作、 视觉、 形变、 传感器、 上交大、 穹彻智能、

本文地址： https://www.gosl.cn/jsjcwz/e1bcbb534ce93e155b35.html

上一篇：揭秘具身智能决策能力评价基准的重大意义与...
下一篇：重磅解读腾讯招聘动向，未来发展展望...