新应用程序利用智能手机进行实时全身动作捕捉

Josiah02

西北大学的工程师开发出了一种全新的全身动作捕捉系统，它不需要专门的房间、昂贵的设备、笨重的摄像机或一系列传感器。
相反，它需要一个简单的移动设备。
新系统名为 MobilePoser，利用已嵌入消费者移动设备（包括智能手机、智能手表和无线耳机）的传感器。通过结合传感器数据、机器学习和物理学，MobilePoser 可以实时准确地跟踪人的全身姿势和空间中的全局平移。
“MobilePoser 在移动设备上实时运行，通过先进的机器学习和基于物理的优化实现了最先进的精度，无需专门的设备即可在游戏、健身和室内导航方面开启新的可能性，”领导这项研究的西北大学的 Karan Ahuja 表示。“这项技术标志着移动动作捕捉的重大飞跃，使沉浸式体验更加触手可及，并为各个行业的创新应用打开了大门。”
Ahuja 的团队将于 10 月 15 日在匹兹堡举行的2024 年 ACM 用户界面软件和技术研讨会上发布 MobilePoser 。“MobilePoser：通过移动消费设备中的 IMU 进行实时全身姿势估计和 3D 人体翻译”将作为“姿势作为输入”会议的一部分进行。
Ahuja 是人机交互方面的专家，他是西北大学麦考密克工程学院的 Lisa Wissner-Slivka 和 Benjamin Slivka 计算机科学助理教授，并在那里指导感知、知觉、交互式计算和体验 (SPICE) 实验室。
当前系统的局限性
大多数电影迷都熟悉动作捕捉技术，这些技术经常在幕后花絮中展示。为了创造 CGI 角色（如《指环王》中的咕噜或《阿凡达》中的纳威人），演员们穿着贴身的套装，套装上布满了传感器，在专门的房间里走来走去。计算机捕捉传感器数据，然后显示演员的动作和微妙的表情。
“这是动作捕捉的黄金标准，但运行该装置的成本高达 10 万美元，”Ahuja 说道。“我们希望开发一种易于使用、大众化的版本，基本上任何人都可以利用他们已有的设备来使用。”
其他运动感应系统（例如 Microsoft Kinect）依靠固定摄像头来观察人体运动。如果一个人在摄像头的视野范围内，这些系统就能很好地工作。但它们对于移动或移动应用来说并不实用。
MobilePoser 可以使用移动消费设备中的 IMU 进行实时全身姿势估计和 3D 人体翻译。图片来源：Karan Ahuja/西北大学
预测姿势
为了克服这些限制，Ahuja 的团队采用了惯性测量单元 (IMU)，这是一种使用多种传感器（加速度计、陀螺仪和磁力计）来测量身体运动和方向的系统。
这些传感器已经安装在智能手机和其他设备中，但其保真度对于精确的动作捕捉应用来说太低了。为了提高其性能，Ahuja 的团队添加了一个定制的多阶段人工智能 (AI) 算法，他们使用公开的大型数据集对算法进行训练，该数据集是由高质量动作捕捉数据生成的合成 IMU 测量值。
通过传感器数据，MobilePoser 可以获取加速度和身体方向的信息。然后，它将这些数据输入人工智能算法，该算法可以估算关节位置和关节旋转、步行速度和方向，以及用户双脚与地面的接触。
最后，MobilePoser 使用基于物理的优化器来优化预测的动作，以确保它们与现实生活中的身体动作相匹配。例如，在现实生活中，关节不能向后弯曲，头部不能旋转 360 度。物理优化器确保捕捉到的动作也不会以物理上不可能的方式移动。
最终系统的跟踪误差仅为 8 到 10 厘米。相比之下，假设用户处于摄像头的视野范围内，Microsoft Kinect 的跟踪误差为 4 到 5 厘米。使用 MobilePoser，用户可以自由移动。
“当一个人佩戴多个设备时，准确度会更高，比如手腕上戴智能手表，口袋里装着智能手机，”Ahuja 说道。“但该系统的一个关键部分是它具有自适应性。即使有一天你没有戴手表，只带了手机，它也能适应并确定你的全身姿势。”
潜在用例
MobilePoser 不仅能为游戏玩家提供更身临其境的体验，这款新应用还为健康和健身提供了新的可能性。它不只是简单地计算步数，还能让用户查看自己的全身姿势，确保锻炼时姿势正确。这款新应用还可以帮助医生分析患者的活动能力、活动水平和步态。Ahuja 还设想这项技术可以用于室内导航——这是 GPS 目前的一个弱点，它只能在户外使用。
“目前，医生使用计步器来跟踪患者的活动情况，”阿胡贾说。“这有点令人伤心，对吧？我们的手机可以计算罗马的温度。它们对外部世界的了解比对我们自己的身体的了解还多。我们希望手机不仅仅是智能计步器。手机应该能够检测不同的活动，确定你的姿势，并成为更主动的助手。”
为了鼓励其他研究人员在此基础上继续研究，Ahuja 的团队已将其预训练模型、数据预处理脚本和模型训练代码作为开源软件发布。Ahuja 还表示，该应用程序将很快在 iPhone、AirPods 和 Apple Watch 上推出。