新工具有助于通过增强现实分析飞行员的表现和心理负荷

Josiah02

在高风险的航空业中，飞行员在压力下的表现能力可能决定飞行是否安全。全面而精准的培训对于让飞行员掌握处理这些挑战性情况所需的技能至关重要。
飞行员教练依靠增强现实 (AR) 系统进行教学，通过引导飞行员经历各种场景，让他们学习适当的行动。但这些系统只有在根据个体受试者的心理状态量身定制时才能发挥最佳效果。
HuBar 是一种新颖的可视化分析工具，旨在通过分析表演者行为和认知工作量来总结和比较 AR 中的任务执行会话（例如 AR 引导的模拟飞行）。
通过深入了解飞行员的行为和心理状态，HuBar 使研究人员和培训师能够识别模式、找出难点并优化 AR 辅助培训计划，以改善学习成果和现实世界的表现。
HuBar 由纽约大学坦顿工程学院的研究团队开发，该团队将于 2 ​​024 年 10 月 17 日在2024 年 IEEE 可视化和视觉分析会议上展示它。
“虽然飞行员训练是一个潜在的用例，但 HuBar 不仅仅适用于航空，”纽约大学坦顿研究所计算机科学与工程系 (CSE) 教授 Claudio Silva 解释道，他与诺斯罗普·格鲁曼公司 (NGC) 合作领导了这项研究。“HuBar 可视化了来自 AR 辅助任务的各种数据，这种综合分析可以提高各种复杂场景中的表现和学习成果。”
“HuBar 可以帮助提高外科手术、军事行动和工业任务的训练效果，”同时担任纽约大学可视化与数据分析研究中心 (VIDA) 联席主任的席尔瓦补充道。
该团队在arXiv预印本服务器上发表的一篇论文中介绍了 HuBar ，该论文以航空业为例，展示了其能力，在 AR 飞行模拟中分析了多名直升机副驾驶员的数据。该团队还制作了一段关于该系统的视频。
该系统重点关注两名试点对象，发现了显著的差异：一名试点对象基本保持最佳注意力状态，很少出现错误，而另一名试点对象则处于负荷不足状态，经常犯错误。
HuBar 的详细分析（包括视频片段）显示，表现不佳的副驾驶经常查阅手册，表明对任务不太熟悉。最终，HuBar 可以帮助培训师找出副驾驶遇到困难的具体领域并了解原因，从而提供见解以改进 AR 辅助培训计划。
HuBar 的独特之处在于它能够分析非线性任务，其中不同的步骤序列可以带来成功，同时集成和可视化多个复杂数据流。
这包括大脑活动(fNIRS)、身体运动(IMU)、注视跟踪、任务程序、错误和心理工作量分类。HuBar 的综合方法可以对 AR 辅助任务中的执行者行为进行整体分析，使研究人员和培训师能够识别各种任务完成路径中认知状态、身体动作和任务表现之间的相关性。
HuBar 的交互式可视化系统还可以方便地比较不同的会议和表演者，从而可以辨别复杂、非连续过程中的模式和异常，而这些模式和异常在传统的分析方法中可能会被忽视。
VIDA 研究工程师、VIDA 博士生、HuBar 论文的主要作者 Sonia Castelo 表示：“我们现在可以准确地了解人们在执行任务时何时以及为何会出现精神超负荷或危险的负荷不足的情况。”
“这种详细的分析在如此广泛的应用中是前所未有的。这就像在执行任务时用X射线透视人的思想和身体，提供信息来定制AR辅助系统，以满足个人用户的需求。”
随着 AR 系统（包括 Microsoft Hololens、Meta Quest 和 Apple Vision Pro 等耳机）变得越来越复杂和普及，像 HuBar 这样的工具对于理解这些技术如何影响人类的表现和认知负荷至关重要。
参与该项目的 VIDA 博士生 Joao Rulff 表示：“下一代 AR 训练系统可能会根据用户的心理状态实时调整。HuBar 帮助我们准确了解其如何在各种应用程序和复杂的任务结构中发挥作用。”