Josiah02 发表于 2024-7-11 08:32:40

一种在 3D 环境中规划和控制人形机器人运动的新模型

  人形机器人,即身体结构与人体相似的机器人或虚拟系统,在现实世界中有着广泛的应用。由于它们的四肢和身体与人类相似,因此可以模拟各种人类动作,如行走、蹲伏、跳跃、游泳等。
  通过计算生成虚拟人形角色的逼真动作可能对视频游戏、动画电影、虚拟现实(VR) 体验和其他媒体内容的开发产生有趣的影响。然而,视频游戏和动画中描绘的环境通常高度动态且复杂,这使得在这些环境中引入人形机器人的动作规划更具挑战性。
  以色列 NVIDIA 研究中心的研究人员最近推出了 PlaMo(规划和移动),这是一种新的计算方法,用于规划人形机器人在复杂的 3D 物理模拟世界中的移动。他们在arXiv预印本服务器上发表的一篇论文中介绍了这种方法,该方法由场景感知路径规划器和强大的控制策略组成。
  阿萨夫·哈拉克 (Assaf Hallak)、加尔·达拉尔 (Gal Dalal) 及其同事在论文中写道:“在复杂的物理模拟世界中控制人形机器人是一项长期存在的挑战,在游戏、模拟和视觉内容创作领域有着众多应用。”
  “在我们的设置中,给定一个丰富而复杂的 3D 场景,用户提供由目标位置和运动类型组成的指令列表。为了解决这个任务,我们提出了 PlaMo,一个场景感知路径规划器和一个强大的基于物理的控制器。”
  之前大多数旨在规划 3D 模拟环境中人形角色运动的研究都侧重于规划器或控制器的开发,而不是两者兼而有之。由于这两类模型执行的任务(即规划和执行人形机器人的运动)是相互依赖的,Hallak、Dalal 及其同事着手设计一种能够同时解决这两个问题的计算方法。
  Hallak、Dalal 及其同事写道:“路径规划器会生成一系列运动路径,同时考虑到场景对运动施加的各种限制,例如位置、高度和速度。作为规划器的补充,我们的控制策略会根据规划生成丰富而逼真的物理运动。”
  研究人员在一系列模拟中测试了 PlaMo,使用它来规划和执行 SMPL 人形机器人的动作,SMPL 人形机器人是一种具有中性身体结构(即没有面部特征、头发、衣服等)的人形虚拟代理。他们在 IsaacGym 上运行了模拟,IsaacGym 是 NVIDIA 开发的基于物理的强化学习模拟环境。
  这些测试的结果非常令人鼓舞,因为 PlaMo 方法被发现能够按照文本指令有效地规划和执行 SMPL 人形机器人在复杂模拟景观中的运动。值得注意的是,该方法的规划器组件被发现能够解释人形角色在不平坦地形上的运动,以及环境中的静态和动态障碍物。
  反过来,我们发现运动控制器能够可靠地跟踪规划器规划的路径,为人形机器人执行复杂且场景感知的动作,例如在低垂的天花板下爬行或快速移动以避开接近的障碍物。
  总体而言,这两个模块的组合非常有效,可以根据环境的变化产生逼真的动作。
  “PlaMo 专注于规划和控制,”Hallak、Dalal 和他们的同事写道。“它为将其与现代语言模型和 3D 场景理解相结合提供了机会。考虑到这些扩展,我们将 PlaMo 视为一个更大系统的垫脚石,在这个系统中,非玩家角色 (NPC) 被赋予角色来扮演,形成一个丰富的模拟虚拟世界。”

页: [1]
查看完整版本: 一种在 3D 环境中规划和控制人形机器人运动的新模型