VoicePilot 框架增强了人类与物理辅助机器人之间的沟通

Josiah02

目前，美国约有 500 万人患有运动障碍。辅助机器人不仅可以帮助这些人完成日常任务，还可以显著提高他们的独立性、幸福感和生活质量。
大型语言模型 (LLM) 能够理解并生成人类语言和代码，对于有效的人机通信至关重要。卡内基梅隆大学机器人研究所的一组研究人员认识到了 LLM 的重要性，并确定进一步开发创新界面将增强个人与辅助机器人之间的通信，从而改善对运动障碍患者的护理。
该研究小组由机器人护理和人机交互实验室 (RCHI)、人与机器人合作伙伴实验室 (HARP) 以及软机器实验室 (SML) 的教职员工和学生组成，他们提出了 VoicePilot，这是一种将LLM 用作物理辅助机器人的语音界面的框架和设计指南。
作为人机交互方面的专家，该团队确保他们的方法以人为本，使 VoicePilot 成为第一个让人类受试者与集成到物理辅助机器人中的 LLM 直接交互的作品。
VoicePilot 论文已被用户界面软件和技术研讨会 ( UIST 2024 )接受发表，该研讨会将于 10 月在匹兹堡举行。该论文可在arXiv预印本服务器上找到。
“我们相信，法学硕士学位是开发辅助机器人个性化和强大语音界面的关键，可以使机器人具有解释高级命令和细微定制的能力，”机器人护理和人类交互实验室的共同作者和本科生 Jessie Yuan 说。
该团队在商用辅助喂食机器人 Obi 上实现了基于 LLM 的语音界面。使用 Obi，目标是让用户像对待人类护理人员一样给出个性化指令，并成功执行这些个性化指令。
为了测试 VoicePilot 的有效性，该团队对 11 位居住在独立生活设施中的老年人进行了人体研究。他们使用预定义的任务、开放式喂食环节以及对研究期间收集的录音进行分析，收集数据以提供将 LLM 纳入辅助界面的设计指南。
该团队利用收集的数据确定了将 LLM 集成为语音界面的五个主要指导原则：集成应提供自定义选项、按顺序执行多项功能、以与护理人员相当的速度执行命令、一致地执行命令，并且应具有与用户进行社交互动的能力。
“我们提出的框架和指导方针将帮助学术界和工业界的研究人员、工程师和设计师开发基于 LLM 的辅助机器人语音界面，”论文合著者、机器人研究所博士生 Akhil Padmanabha 说。
更多信息： Akhil Padmanabha 等人，VoicePilot：利用 LLM 作为物理辅助机器人的语音界面，arXiv (2024)。DOI ：10.48550/arxiv.2404.04066
期刊信息： arXiv