研究人员利用喷墨打印制作便携式多光谱 3D 相机

Josiah

研究人员利用喷墨打印技术制作出一款紧凑型多光谱光场相机。这款相机尺寸仅为手掌大小，可用于多种应用，包括自动驾驶、回收材料分类和遥感。

3D 光谱信息可用于对物体和材料进行分类；然而，从场景中捕获 3D 空间和光谱信息通常需要多个设备或耗时的扫描过程。新型光场相机通过在单个快照中同时获取 3D 信息和光谱数据解决了这一难题。

“据我们所知，这是最先进、集成度最高的多光谱光场相机，”研究团队负责人、德国卡尔斯鲁厄理工学院的乌利·莱默 (Uli Lemmer) 表示。“我们将它与用于重建场景深度和光谱特性的新 AI 方法相结合，创建了一个用于获取 3D 信息的先进传感器系统。”

在《光学快报》杂志上，研究人员报告称，新的相机和图像重建方法可用于根据物体的光谱特性来区分场景中的物体。使用喷墨打印来制造相机的关键光学元件，可以轻松定制或大批量生产。

研究团队成员迈克尔·海兹曼 (Michael Heizmann) 表示： “从摄像机图像重建的 3D 数据在虚拟和增强现实、自动驾驶汽车、机器人、智能家居设备、遥感和其他应用领域得到广泛应用。”

“例如，这项新技术可以让机器人更好地与人类互动，或提高回收过程中材料分类和分离的准确性。它还可以用于对健康和患病组织进行分类。”

使用喷墨打印技术将单个液滴材料沉积在超薄显微镜载玻片的一侧以形成单个透镜 (i)。固化后 (ii)，在显微镜载玻片的另一侧打印完全对齐的滤色器阵列 (iii)。将生成的光学元件直接集成到 CMOS 相机芯片上并放置在相机外壳中 (iv)。

使用喷墨打印添加颜色

光场相机（也称为全光相机）是一种专用成像设备，可捕捉光线的方向和强度。图像采集后，使用计算处理从获取的数据重建 3D 图像信息。这些相机通常使用与高分辨率相机芯片的像素对齐的微透镜阵列。

为了制造多光谱光场相机，研究人员使用喷墨打印技术在超薄显微镜载玻片的一侧沉积一滴材料以形成每个单独的透镜，然后在显微镜载玻片的另一侧打印完全对齐的滤色器阵列。最终的光学元件直接集成到 CMOS 相机芯片上。喷墨打印方法允许光学元件之间精确对齐，从而大大降低了制造复杂性并提高了效率。

由于这种装置产生的光谱和深度信息交织在相机图像中，研究人员开发了分离每个组件的方法。他们发现，基于深度学习的方法最适合从获取的测量值中直接提取所需信息。

研究人员利用新相机和深度学习方法，以不同的颜色通道（假彩色表示）生成这些重建视图。

基于光谱的物体检测

“只有结合制造、系统设计和基于人工智能的图像重建方面的最新进展，才能应对制造多光谱光场相机的挑战，”该论文的第一作者张乔双表示。“这项工作突破了喷墨打印的界限，喷墨打印是一种具有高精度和工业可扩展性的多功能方法，可用于制造光子元件。”

研究人员通过记录包含不同距离的多色 3D 物体的测试场景来测试相机。图像重建算法在许多合成和真实的多光谱图像上进行训练和测试。结果表明，原型相机可以同时获取 3D 空间和光谱信息，并且可以在一次快照中通过不同的光谱组成和深度信息对不同的物体进行成像和区分。

现在他们已经完成了第一个概念验证，研究人员正在探索具有获取多光谱信息能力的光场相机的各种应用。