研究发现，远程物体检测的人工智能模型容易受到物理和数字攻击

Josiah02

今天，我们对周围世界的物理特性的理解和评估越来越少地依赖于人类智能，而越来越多地依赖于人工智能。
遥感 (RS) 技术已成为政府情报、环境监测、自动驾驶、城市规划和灾害管理的重要工具。但远程摄像机拍摄的大量图像必须经过处理和解读，而这些任务越来越多地被委托给深度学习 (DL) 模型。
深度学习模型处理和解读图像的速度比人类快得多，而且人工智能的最新进展只会随着时间的推移而提高这种能力。尽管效率有所提高，但从未有研究尝试评估用于遥感图像中的物体检测和图像分类的基于深度神经网络 (DNN) 的模型的整体稳健性和潜在漏洞。
为了解决这个问题，西北工业大学和香港理工大学的科学家团队审查了所有现有的关于使用遥感图像进行物体检测和分类的深度学习模型的稳健性的研究，并制定了一个基准来评估各种深度学习模型检测器的性能（例如 YOLO 版本、RetinaNet、FreeAnchor）。至关重要的是，他们的分析揭示了用于物体检测的深度学习算法的几个漏洞，攻击者可以利用这些漏洞。
研究小组在《遥感杂志》上发表了他们的评论。
“我们试图解决在遥感任务中使用的深度学习模型的鲁棒性缺乏全面研究的问题，特别是专注于图像分类和物体检测。我们的目标是了解这些模型对各种噪声（尤其是对抗性噪声）的脆弱性，并系统地评估它们的自然和对抗性鲁棒性，”中国西安西北工业大学电子信息学院教授、这篇评论论文的主要作者梅少辉说。
更具体地说，该团队研究了自然噪声和各种攻击对模型性能的影响。科学家使用不同强度的自然噪声源（包括椒盐噪声和随机噪声以及雨、雪和雾）来测试使用 DL 模型进行物体检测和识别的稳健性。
对于物理攻击，精心设计的物理扰动必须经历跨域转换，即从数字到物理，从物理到数字，才能在物理世界中发起攻击，而对于数字攻击则不需要。图片来源：西北工业大学贾伟廉
该团队还使用各种数字攻击来利用模型中的漏洞，测试了模型性能，包括快速梯度符号法 (FGSM)、AutoAttack、投影梯度下降、Carlini & Wagner 和动量迭代 FGSM。他们还确定了潜在物理攻击的影响，其中补丁可以物理地涂上或附加到物体或物体的背景上，从而损害 DL 模型。
研究人员发现深度学习模型中存在许多漏洞，可能被潜在对手利用。西北工业大学电子信息学院研究生、论文作者之一连家伟表示：“尽管深度学习模型在遥感应用中具有强大的能力，但它们也容易受到各种干扰，包括对抗性攻击。这些技术的开发人员和用户必须意识到这些漏洞，并努力提高模型的稳健性，以确保在现实条件下的可靠性能。”
为了帮助其他研究人员提高这些应用中的 DL 模型鲁棒性，作者总结了他们对各种模型、噪声类型和攻击的分析结果：
训练对抗性攻击与训练神经网络有许多相似之处，并受到与模型训练相同因素的影响，包括训练数据、受害者模型（用于生成对抗性攻击的深度学习模型）和优化策略。
弱检测器（如 YOLOv2）可能只需要学习有限的信息即可成功攻击 DL 模型，但对于更强大的检测器，攻击通常不会成功。
“动量”和“dropout”等技术可以提高攻击的有效性。研究训练策略和测试增强可以提高 DNN 模型的安全性。
物理攻击与数字攻击同样有效。深度学习模型中的漏洞必须转化为潜在的实际应用，例如附加物理补丁以破坏深度学习算法，从而利用这些弱点。
研究人员可以梳理深度学习模型的特征提取机制，以了解对手如何操纵和破坏这一过程。
可以操纵物体的背景来削弱 DL 模型正确检测和识别物体的能力。
使用目标背景中的物理补丁进行对抗性攻击可能比将补丁附加到目标本身更为实用。
研究团队承认，他们的分析仅为提高 RS DL 模型鲁棒性提供了蓝图。
“我们的下一步计划是进一步完善我们的基准测试框架，并使用更广泛的模型和噪声类型进行更广泛的测试。我们的最终目标是为 RS 开发更强大、更安全的 DL 模型，从而提高这些技术在环境监测、灾害响应和城市规划等关键应用中的可靠性和有效性，”梅说。
中国西安西北工业大学电子信息学院的王晓飞、苏昱如和马明阳以及香港理工大学电气电子工程系的周立培也参与了这项研究。