机器之心报道：突破机器人学习的数据瓶颈，MIT团队利用生成模型开辟新路径

如今，机器人学习面临的最大挑战之一是数据缺乏。
与图片和文字相比，机器人的学习数据非常稀少。
针对这一问题，MIT的一支团队提出了一种新的解决方案：利用生成模型作为机器人学习的新数据源。
该团队希望通过这种方式，打破机器人在视觉学习方面的数据瓶颈，从而实现通用具身智能。

一、背景与挑战

目前，机器人学科的主流方向是通过扩大真实世界中的数据收集来尝试实现通用具身智能。
即使是像Pi这样的数据，其数量级仍然远远不足与其他基础模型相比。
为了解决这个问题，MIT的这支团队提出了使用生成模型来作为机器人学习的新数据源。
他们认为，通过工程手段取代传统的数据收集，可以实现一条通过生成模型加持的物理仿真来训练机器人视觉的技术路线。

二、生成模型与物理仿真

获取足够的数据对于提升机器人的性能至关重要。
但在当前实践中，针对新场景和新任务获取数据往往是一个从头开始不断重复的手动过程。
这不仅成本高昂，而且效率低下。
因此，该团队选择在模拟环境中训练机器人。

在模拟环境中，机器人可以安全地探索故障案例并直接从自身行为中学习。
虽然业界已经在模拟物理和渲染方面投入了大量资金，但目前为实现真实性所做的最佳实践仍与现实存在差距。
为了解决这个问题，研究者开发了一套解决方案，他们将生成模型作为机器人学习的新数据源，并使用视觉跑酷（visual parkout）作为试验场景。

三、策略与实验

该团队的愿景是在完全生成的虚拟世界中训练机器人。
核心在于找到精确控制语义组成和场景外观的方法，以对齐模拟物理世界，同时保持对于实现sim-to-real泛化至关重要的随机性。
他们采用流行的物理引擎MuJoCo，并在每一帧上渲染深度图像和语义掩码。
然后计算真值密集光流，并在接下来的六个时间步中扭曲原始生成帧以生成时间一致的视频序列。
在学习方面，研究者训练的视觉策略分为两个阶段完成：首先优化策略以模拟从特权教师收集的rollout中获得的专家行为；然后收集on-policy数据并进行训练交错。
这种策略显著提升了视觉策略的性能。
该策略足够稳健，可以在他们的测试场景中实现零样本转换为真实世界的色彩观察。

四、先验辅助域生成（PADG）与多样化图像生成

研究者考虑了这样一种sim-to-real设置，机器人在模拟环境中接受训练并无需进一步调整就能迁移到现实世界。
他们对自己打算部署机器人的环境已经有部分了解，可能是粗略的描述或者参考图像。
由于信息不完整，研究者依赖生成模型内部的先验知识来填补空白。
他们将这一引导过程称为先验辅助域生成（Prior-Assisted Domain Generation，PADG）。
为了获得多样化的图像，他们采用自动提示技术并采用包含标题块、查询详情的「元」提示来提示ChatGPT生成批量结构化的图像块。
同时增强原始文本到图像模型以在增加额外语义和几何控制的同时保持模拟物理的一致性。
研究者将场景几何制作成简单地形并在计算流和应用扭曲时考虑机器人相机视角的变化以提高渲染速度。
最终通过on-policy闭环训练来学习稳健的真实世界视觉策略分为两个阶段完成：首先是预训练阶段通过模拟收集rollout；然后是后训练阶段从视觉策略本身收集on-policy数据并与之交替进行训练迭代以优化性能。
实验结果显示这种闭环训练过程使机器人能够在没有进一步的调整的情况下迁移到现实世界中并执行复杂任务如跑酷等。
。
此外研究者还发现了一个简单的transformer控制模型架构在机器人跑酷任务中表现良好大大减少了处理多模态输入时控制模型架构的复杂度。
。
该架构使用带有多查询注意力的五层transformer骨干网络来处理输入的相机视频序列并输出动作指令以实现机器人的动态控制。
。
五、实验结果与分析。
。
在实验环节研究者对现实世界和部分使用模拟创建的真实世界场景进行评估学习到的控制器性能。
。
结果显示LucidSim在各种任务中都表现出较好的性能优于经典的域随机化方法。
。
通过比较LucidSim与基线方法发现在模拟评估中LucidSim受到的环境因素的影响较小并能更好地泛化到现实世界中的各种场景。
。
此外通过引入生成模型作为数据源的方法可以显著提高机器人的视觉感知能力和决策能力。
。
六、总结与展望。
。
总的来说该研究提出了一种利用生成模型作为机器人学习新数据源的方法并成功应用于机器人的视觉跑酷任务中。
。
该方法通过结合物理仿真和生成模型的优势提高了机器人在模拟环境中的学习效率并实现了在现实世界中的出色表现。
。
展望未来该研究团队将继续探索如何在虚拟环境中更好地模拟现实世界的多样性和复杂性以及如何进一步提高机器人的感知能力和决策能力。
。
此外他们还将尝试将该方法应用于其他类型的机器人和任务中以实现更广泛的应用。
。
总的来说该研究为机器人学习开辟了一条新的路径并有望推动机器人技术的发展。
。

标签： 机器人、 mit、 机器狗、 随机化、 真实世界、 虚拟环境、

本文地址： https://www.gosl.cn/hlzxwz/7601c6af15ec4d8f9fa9.html

上一篇：华为旗舰机型Mate70Pro重磅传闻曝光...
下一篇：创新科技展示，彰显航空强国风采...