新方法增强场景重建以测试自动驾驶模型

Josiah02

开发无需人类驾驶员即可安全行驶的车辆一直是人工智能研究界许多团队的主要目标。由于仅在真实街道上测试自动驾驶汽车既不安全也不可行，因此其底层算法首先在模拟中接受大量训练和测试。
虽然近年来用于训练自动驾驶模型的仿真平台有了显著的改进，但它们往往存在各种局限性。仿真技术有两种：开环方法，其中输出（即模拟车辆的动作或响应）不会影响未来的输入数据；闭环方法，其中输出会影响后续输入，从而产生自适应循环。
开环仿真技术通常更容易实现，但它们无法适应模拟中测试模型的变化或错误。相比之下，闭环方法更好地反映了动态真实世界设置，因此可以更准确地评估系统的性能，但它们对计算的要求也更高，并且并不总是能够呈现复杂的操作和新的车辆轨迹。
GigaAI、北京大学、理想汽车公司和中国科学院自动化研究所的研究人员最近开发了一种新方法，可以增强模拟中的驾驶场景重建。这种方法在arXiv预印本服务器上发布的一篇论文中进行了概述，其本质是将来自自动驾驶世界模型的知识逐步整合到场景中。
“闭环模拟对于端到端自动驾驶至关重要，”Chaojun Ni、Guaosheng Zhao 及其同事在论文中写道。“现有的传感器模拟方法（例如 NeRF 和 3DGS）根据与训练数据分布密切相关的条件重建驾驶场景。然而，这些方法在渲染新轨迹（例如车道变换）方面存在困难。”
最近的研究专注于渲染驾驶场景以训练和测试模型，发现整合来自世界模型的知识可以改善新轨迹的渲染。虽然一些整合世界模型的方法取得了有希望的结果，但它们往往无法准确表示特别复杂的操作，例如多车道换挡。
赵超军、倪超军和同事们的研究主要目的是开发一种可以改善这些操作渲染的新方法。他们提出的解决方案称为 ReconDreamer 和 Drive Restorer，需要训练世界模型，以逐步减轻复杂驾驶操作渲染中的不良影响。
“我们推出了 ReconDreamer，它通过逐步整合世界模型知识来增强驾驶场景重建，”Ni、Zhao 及其同事写道。“具体来说，DriveRestorer 旨在通过在线恢复来减轻伪影。它还采用了渐进式数据更新策略，旨在确保更复杂操作的高质量渲染。”
研究人员已经进行了各种测试，以评估他们的方法对驾驶场景进行改进渲染的能力。他们的发现非常有希望，因为 ReconDreamer 被发现可以提高复杂操作的渲染质量，同时还可以提高场景中元素的时空连贯性。
研究人员写道：“据我们所知，ReconDreamer 是第一个在大型机动中有效渲染的方法。”“实验结果表明，ReconDreamer 在 NTA-IoU、NTL-IoU 和 FID 方面的表现优于 Street Gaussians，相对改进分别为 24.87%、6.72% 和 29.97%。此外，ReconDreamer 在大型机动渲染中超越了 DriveDreamer4D 和 PVG，这已通过 NTA-IoU 指标 195.87% 的相对改进和全面的用户研究得到证实。”
该研究团队推出的新型驾驶场景重建方法很快就能用于改进模拟中自动驾驶计算模型的训练和评估。此外，它还能启发类似技术的开发，以增强复杂场景的渲染，包括可用于评估机器人和其他应用模型的场景。