基于人工智能的工具为虚拟和增强现实创建简单的界面
卡内基梅隆大学人机交互研究所的研究人员在第 37 届 ACM 用户界面软件和技术研讨会论文集上发表的一篇论文介绍了EgoTouch，这是一种使用人工智能通过用手指触摸皮肤来控制 AR/VR 界面的工具。该团队最终希望设计一种控制装置，仅使用标准 AR/VR 耳机附带的传感器即可提供触觉反馈。
OmniTouch 是 HCII 副教授兼未来界面小组主任 Chris Harrison 之前开发的一种接近实现的方法。但该方法需要一种特殊的、笨重的深度感应摄像头。Harrison 指导的博士生 Vimal Mollyn 提出了使用机器学习算法训练普通摄像头识别触摸的想法。
“试着用手指触摸皮肤，看看会发生什么。你会注意到，只有当你触摸皮肤时，才会出现阴影和局部皮肤变形，”莫林说。“如果我们能看到这些，那么我们就可以训练机器学习模型来做同样的事情，这就是我们所做的。”
图片来源：卡内基梅隆大学
Mollyn 使用定制触摸传感器收集 EgoTouch 的数据，该传感器位于食指和手掌的下方。该传感器收集不同力度下不同类型的触摸数据，同时保持摄像头无法识别。然后，该模型学会将阴影和皮肤畸形的视觉特征与触摸和力度关联起来，而无需人工注释。
该团队扩大了训练数据收集范围，包括 15 位肤色和毛发密度不同的用户，并在许多情况、活动和光照条件下收集了数小时的数据。
EgoTouch 的触摸检测准确率超过 96%，误报率约为 5%。它可以识别按下、抬起和拖动。该模型还可以以 98% 的准确率区分触摸是轻还是重。
莫琳说：“皮肤上的右键单击功能真的很有用。”
检测触摸变化可以让开发人员在皮肤上模仿触摸屏手势。例如，智能手机可以识别上下滚动页面、放大、向右滑动或按住图标。要将其转换为基于皮肤的界面，相机需要识别触摸类型和触摸力度之间的细微差别。
不同肤色和毛发密度的人的准确度大致相同，手和前臂的不同部位（如手臂前部、手臂后部、手掌和手背）的准确度也大致相同。该系统在关节等骨骼部位的表现不佳。
“这可能是因为这些区域的皮肤变形程度不大，”莫林说。“作为一名用户界面设计师，你可以做的就是避免在这些区域放置元素。”
莫林正在探索利用夜视摄像头和夜间照明使 EgoTouch 系统在黑暗中工作的方法。他还与研究人员合作，将这种触摸检测方法扩展到皮肤以外的表面。
“这是我们首次拥有一个仅使用所有头戴设备中已有摄像头的系统。我们的模型无需校准，开箱即可使用，”莫林说。“现在我们可以在之前皮肤界面研究的基础上，真正将它们变为现实。”
页:
[1]