解锁“黑匣子”：科学家揭示人工智能隐藏的思想

Josiah02

深度神经网络是一种人工智能 (AI)，它模仿人类大脑处理信息的方式，但了解这些网络如何“思考”一直是一个挑战。现在，九州大学的研究人员开发了一种新方法来了解深度神经网络如何解释信息并将其分类。
该研究发表在《IEEE 神经网络和学习系统学报》上，解决了确保人工智能系统准确性、稳健性并能满足安全使用所需标准的重要需求。
深度神经网络通过多层处理信息，类似于人类一步步解决难题。第一层称为输入层，用于输入原始数据。后续层称为隐藏层，用于分析信息。早期的隐藏层专注于基本特征，例如检测边缘或纹理——就像检查单个拼图碎片一样。
更深的隐藏层将这些特征结合起来，以识别更复杂的模式，例如识别猫或狗——类似于连接拼图碎片以揭示更大的图景。
“然而，这些隐藏层就像一个上锁的黑匣子：我们看到输入和输出，但里面发生的事情并不清楚，”九州大学信息科学与电气工程学院副教授 Danilo Vasconcellos Vargas 说。
“当人工智能犯错时，这种缺乏透明度的问题就会变得很严重，有时错误是由一个像素的微小变化引发的。人工智能看起来很聪明，但了解它如何做出决定是确保它值得信赖的关键。”
目前，可视化 AI 如何组织信息的方法依赖于将高维数据简化为 2D 或 3D 表示。这些方法让研究人员可以观察 AI 如何对数据点进行分类 - 例如，将猫的图像与其他猫的图像分组，同时将它们与狗分开。然而，这种简化存在严重的局限性。
“当我们将高维信息简化为更少的维度时，就像将 3D 对象展平为 2D 一样——我们会丢失重要细节并且无法看到整个画面。此外，这种可视化数据分组方式的方法使得不同神经网络或数据类之间的比较变得困难，”Vargas 解释道。
在这项研究中，研究人员开发了一种新方法，称为 k* 分布方法，它可以更清晰地可视化和评估深度神经网络将相关项目分类在一起的效果。
该模型的工作原理是为每个输入的数据点分配一个“k* 值”，该值表示到最近的不相关数据点的距离。高 k* 值表示数据点分离得很好（例如，一只猫离任何狗都很远），而低 k* 值则表示可能重叠（例如，一只狗比其他猫更靠近一只猫）。当查看一个类别中的所有数据点（例如猫）时，这种方法会产生一个 k* 值分布，从而提供数据组织方式的详细信息。
“我们的方法保留了高维空间，因此不会丢失任何信息。这是第一个也是唯一一个能够准确了解每个数据点周围‘局部邻域’的模型，”Vargas 强调道。
研究人员利用他们的方法发现，深度神经网络会将数据分类为聚类、分散或重叠排列。在聚类排列中，相似的项目（例如猫）紧密地聚在一起，而不相关的项目（例如狗）则明显分开，这意味着人工智能能够很好地对数据进行分类。
然而，破碎的排列表明相似的项目分散在广阔的空间中，而当不相关的项目位于同一空间时，就会出现重叠分布，这两种排列都更有可能出现分类错误。
Vargas 将此与仓库系统进行了比较：“在一个组织良好的仓库中，类似的物品会存放在一起，使检索变得简单而高效。如果物品混在一起，就会更难找到，从而增加了选择错误物品的风险。”
人工智能越来越多地应用于自动驾驶汽车和医疗诊断等关键系统，而准确性和可靠性至关重要。k* 分布方法可帮助研究人员甚至立法者评估人工智能如何组织和分类信息，从而找出潜在的弱点或错误。
这不仅支持了将人工智能安全地融入日常生活所需的合法化进程，而且还为了解人工智能如何“思考”提供了宝贵的见解。通过确定错误的根本原因，研究人员可以改进人工智能系统，使其不仅准确而且强大——能够处理模糊或不完整的数据并适应意外情况。
“我们的最终目标是创建即使面临现实世界场景的挑战也能保持精确性和可靠性的人工智能系统，”Vargas 总结道。