利用无线电信号赋予机器人超人的视觉

Josiah02 · 发表于 4 天前

在开发机器人稳健感知系统的竞赛中，一个持续的挑战是在恶劣天气和恶劣条件下运行。例如，传统的基于光的视觉传感器（如摄像头或 LiDAR（光检测和测距））在浓烟和浓雾中会失效。
然而，大自然已经证明，视觉并不受光的限制——许多生物已经进化出不依赖光来感知周围环境的方法。蝙蝠利用声波的回声来导航，而鲨鱼则通过感知猎物运动产生的电场来捕猎。
无线电波的波长比光波长几个数量级，能够更好地穿透烟雾，甚至可以看穿某些物质——所有这些能力都超出了人类视觉的范围。然而，机器人传统上依赖的工具有限：它们要么使用摄像头和激光雷达，它们可以提供详细的图像，但在具有挑战性的条件下会失效，要么使用传统雷达，它们可以看穿墙壁和其他遮挡物，但会产生粗糙、低分辨率的图像。
一种新的观察方式
现在，宾夕法尼亚大学工程与应用科学学院 (Penn Engineering) 的研究人员开发出了 PanoRadar，这是一种新工具，它可以将简单的无线电波转换成环境的详细 3D 视图，从而赋予机器人超人的视觉。
“我们最初的问题是，我们能否将两种传感方式的优点结合起来，”计算机与信息科学助理教授赵明敏说。“无线电信号的稳健性（能够抵御雾和其他具有挑战性的条件）和视觉传感器的高分辨率。”
PanoRadar 的工作原理就像一座灯塔，它有一个旋转的传感器，可以发射无线电波，无线电波的回声经人工智能处理后，形成周围环境的精确 3D 图像。
在即将于 11 月 18 日至 22 日在华盛顿特区举行的国际移动计算和网络会议 ( MobiCom 2024 ) 上发表的一篇论文中，赵教授和他的团队描述了 PanoRadar 如何利用无线电波和人工智能 (AI) 让机器人能够在最具挑战性的环境中导航，例如烟雾弥漫的建筑物或雾蒙蒙的道路。
该团队来自无线、音频、视觉和传感电子 (WAVES) 实验室和宾夕法尼亚大学嵌入式计算和集成系统工程研究中心 (PRECISE)，成员包括博士生 Haowen Lai、刚毕业的硕士毕业生 Gaoxiang Luo 和本科研究助理 Yifei (Freddy) Liu。
像灯塔一样旋转
PanoRadar 是一种传感器，其工作原理类似于灯塔，它以圆形扫视光束来扫描整个地平线。该系统由一个旋转的垂直天线阵列组成，用于扫描周围环境。当它们旋转时，这些天线会发出无线电波并监听来自环境的反射，就像灯塔的光束揭示船只和沿海特征的方式一样。
得益于人工智能的强大功能，PanoRadar 超越了这种简单的扫描策略。与旋转时仅照亮不同区域的灯塔不同，PanoRadar 巧妙地结合了所有旋转角度的测量值，以提高其成像分辨率。虽然传感器本身的成本仅为通常昂贵的 LiDAR 系统成本的一小部分，但这种旋转策略会创建密集的虚拟测量点阵列，从而使 PanoRadar 能够实现与 LiDAR 相当的成像分辨率。
“关键的创新在于我们如何处理这些无线电波测量数据，”赵解释说。“我们的信号处理和机器学习算法能够从环境中提取丰富的 3D 信息。”
教导人工智能
赵教授团队面临的最大挑战之一是开发算法，以便在机器人移动时保持高分辨率成像。论文第一作者赖教授解释说：“为了通过无线电信号实现与 LiDAR 相当的分辨率，我们需要结合来自许多不同位置的测量结果，精度达到亚毫米级。当机器人移动时，这尤其具有挑战性，因为即使是很小的运动误差也会严重影响成像质量。”
该团队面临的另一个挑战是教会他们的系统理解它所看到的东西。“室内环境具有一致的模式和几何形状，”罗说。“我们利用这些模式帮助我们的人工智能系统解释雷达信号，类似于人类学习理解他们所看到的东西的方式。”在训练过程中，机器学习模型依靠激光雷达数据来检查其对现实的理解，并能够继续自我改进。
“我们在不同的建筑物中进行的现场测试表明，无线电传感技术在传统传感器难以胜任的地方表现出色，”刘说。“该系统在烟雾中保持精确跟踪，甚至可以绘制有玻璃墙的空间。”
这是因为无线电波不易被空气中的颗粒阻挡，而且该系统甚至可以“捕捉”激光雷达无法捕捉到的东西，比如玻璃表面。PanoRadar 的高分辨率还意味着它可以准确地探测到人，这对于自动驾驶汽车和危险环境中的救援任务等应用来说是一个关键特性。
展望未来，该团队计划探索如何将 PanoRadar 与摄像头和激光雷达等其他传感技术配合使用，为机器人打造更强大的多模式感知系统。该团队还在扩大测试范围，将各种机器人平台和自动驾驶汽车纳入其中。
“对于高风险任务，拥有多种感知环境的方式至关重要，”赵说。“每种传感器都有其优点和缺点，通过智能地组合它们，我们可以创造出更有能力应对现实世界挑战的机器人。”

账号		自动登录	找回密码
密码			立即注册