新框架允许机器人通过在线人类演示视频进行学习

Josiah02 · 发表于 2024-7-22 10:41:43

　　要想在现实环境中成功部署，机器人必须能够可靠地完成各种日常任务，从家务到工业流程。它们可以完成的一些任务包括操纵织物，例如折叠衣服放入衣柜或帮助行动不便的老年人在社交活动前打领带。
　　开发能够有效处理这些任务的机器人迄今为止已被证明是相当具有挑战性的。许多用于训练机器人进行织物操作任务的方法都依赖于模仿学习，这是一种使用视频、动作捕捉镜头和人类完成相关任务的其他数据来训练机器人控制的技术。
　　虽然其中一些技术取得了令人鼓舞的成果，但要取得良好效果，它们通常需要大量的人类演示数据。这些数据可能成本高昂且难以收集，而现有的开源数据集并不总是包含与训练其他计算技术（如计算机视觉或生成式 AI 模型）一样多的数据。
　　新加坡国立大学、上海交通大学和南京大学的研究人员最近介绍了一种替代方法，可以通过人类演示来增强和简化机器人算法的训练。这种方法在arXiv上预先发表的一篇论文中概述，旨在利用每天在线发布的大量视频，将其用作日常任务的人类演示。
　　“这项工作始于一个简单的想法，即建立一个系统，让机器人利用网上无数的人类演示视频来学习复杂的操作技能，”论文合著者彭伟昆告诉 Tech Xplore。“换句话说，给定一个任意的人类演示视频，我们希望机器人完成视频中显示的相同任务。”
　　虽然之前的研究也引入了利用视频片段的模仿学习技术，但他们使用的是特定领域的视频（即人类在机器人稍后将处理任务的同一环境中完成特定任务的视频），而不是在任何环境或设置中收集的任意视频。
　　另一方面，彭和他的同事开发的框架旨在让机器人能够从网上找到的任意演示视频中进行模仿学习。
　　该团队的方法有三个主要组成部分，即 Real2Sim、Learn@Sim 和 Sim2Real。第一个组成部分是该框架的核心和最重要的部分。
　　“Real2Sim 跟踪演示视频中的物体运动，并在模拟中在网格模型上复制相同的运动，”彭解释说。“换句话说，我们试图在模拟中复制人类的演示。最后，我们得到了一系列物体网格，代表了地面真实物体轨迹。”
　　研究人员的方法利用网格（即物体几何形状和动态的精确数字表示）作为中间表示。在 Real2Sim 组件在模拟环境中复制人类演示后，该框架的第二个组件 Learn@Sim 会学习抓握点和放置点，让机器人通过强化学习执行相同的动作。
　　“在模拟中学习抓取点和放置点之后，我们将策略部署到真正的双臂机器人上，这是我们流程的第三步（即 Sim2Real），”彭说。“我们训练了残差策略来弥补 Sim2Real 的差距。”
　　研究人员通过一系列测试评估了他们提出的方法，特别是针对打结领带的任务。虽然这项任务对于机器人来说极其困难，但该团队的方法让机器人操纵器成功完成了这项任务。
　　“值得注意的是，许多以前的研究都需要‘领域内’的演示视频，这意味着演示视频的设置应该与机器人执行环境的设置相同，”彭说。“另一方面，我们的方法可以从‘领域外’的演示视频中学习，因为我们从演示视频中提取了物体在 3D 空间中的运动。”
　　未来，彭和他的同事提出的新方法可以应用于其他复杂且具有挑战性的机器人操作任务。最终，它可以通过模仿学习促进机器人的训练，从而有可能使机器人的技能取得新的进步。
　　彭补充道：“我未来的工作计划是将 Real-Sim-Real 的理念扩展到其他任务上。”
　　“如果我们可以在模拟中复制物体的运动，那么我们是否可以在模拟中复制现实世界？机器人社区正面临数据稀缺的问题，在我看来，如果我们可以在模拟中复制现实世界，我们就可以更有效地收集数据，并更好地将学习到的策略转移到真实的机器人上。”

账号		自动登录	找回密码
密码			立即注册