硬件如何促进人工神经网络的公平性

Josiah02

在过去的几十年里，计算机科学家开发了各种各样的深度神经网络 (DNN)，用于解决各种实际任务。虽然其中一些模型已被证明非常有效，但一些研究发现它们可能存在不公平性，这意味着它们的性能可能会根据训练数据甚至部署硬件平台而有所不同。
例如，一些研究表明，市面上基于深度学习的面部识别工具在识别白皮肤人的特征方面明显优于黑皮肤人。这些观察到的人工智能性能差异，很大程度上是由于可用的训练数据存在差异，这激发了人们致力于提高现有模型的公平性的努力。
圣母大学的研究人员最近开始研究硬件系统如何促进人工智能的公平性。他们的论文发表在《自然电子》杂志上，指出了新兴硬件设计（如内存计算 (CiM) 设备）如何影响 DNN 的公平性。
论文共同作者石一宇 (Yiyu Shi) 向 Tech Xplore 表示：“我们的论文源于对人工智能公平性的迫切需求，特别是在医疗保健等高风险领域，偏见可能导致严重伤害。”
“虽然许多研究都集中在算法的公平性上，但硬件在影响公平性方面的作用却在很大程度上被忽视了。随着人工智能模型越来越多地部署在资源受限的设备上，例如移动设备和边缘设备，我们意识到底层硬件可能会加剧或减轻偏见。”
在回顾了过去关于 AI 性能差异的文献后，Shi 和他的同事意识到硬件设计对 AI 公平性的贡献尚未得到研究。他们最近研究的主要目标是填补这一空白，具体研究新的 CiM 硬件设计如何影响 DNN 的公平性。
“我们的目标是系统地探索这些影响，特别是通过新兴 CiM 架构的视角，并提出有助于确保在不同硬件平台上公平部署 AI 的解决方案，”Shi 解释道。“我们通过使用不同的硬件设置进行一系列实验来研究硬件和公平性之间的关系，特别关注 CiM 架构。”
作为这项最新研究的一部分，Shi 和他的同事进行了两类主要实验。第一类实验旨在探索不同大小和结构的硬件感知神经架构设计对所获结果公平性的影响。
“我们的实验得出了几个不仅限于设备选择的结论，”Shi 说道。“例如，我们发现更大、更复杂的神经网络往往表现出更高的公平性，而这些神经网络通常需要更多的硬件资源。然而，这些更好的模型也更难在资源有限的设备上部署。”
根据他们在实验中观察到的情况，研究人员提出了一些潜在策略，这些策略可能有助于提高人工智能的公平性，而不会带来重大的计算挑战。一种可能的解决方案是压缩更大的模型，从而在限制计算负荷的同时保持其性能。
针对不同真实和合成设备进行设备非理想性建模。
“我们开展的第二类实验侧重于某些非理想因素，例如设备多变性和 CiM 架构带来的固定故障问题，”Shi 说道。“我们利用这些硬件平台运行各种神经网络，研究硬件变化（例如内存容量或处理能力的差异）如何影响模型的公平性。
“结果表明，在不同的设备变化设置下会出现各种权衡，而现有的用于提高设备变化下的稳健性的方法也导致了这些权衡。”
为了克服第二组实验中发现的挑战，Shi 和他的同事建议采用噪声感知训练策略。这些策略需要在训练 AI 模型时引入受控噪声，以此来提高模型的稳健性和公平性，同时又不会显著增加计算需求。
“我们的研究表明，神经网络的公平性不仅仅是数据或算法的函数，还受到部署它们的硬件的显著影响，”Shi 说。“一个关键的发现是，更大、资源更密集的模型通常在公平性方面表现更好，但这是以需要更先进的硬件为代价的。”
通过实验，研究人员还发现，硬件引起的非理想因素（例如设备多变性）会导致 AI 模型的准确性和公平性之间产生矛盾。他们的研究结果强调，需要仔细考虑 AI 模型结构的设计以及它们将部署到的硬件平台，以在准确性和公平性之间取得良好的平衡。
“实际上，我们的工作表明，在开发人工智能时，特别是用于敏感应用（例如医疗诊断）的工具，设计人员不仅需要考虑软件算法，还需要考虑硬件平台，”史先生说。
该研究团队最近的研究成果有助于提高人工智能的公平性，鼓励开发人员同时关注硬件和软件组件。这反过来又可以促进开发既准确又公平的人工智能系统，在分析具有不同身体和种族特征的用户数据时产生同样好的结果。
“展望未来，我们的研究将继续深入研究硬件设计与人工智能公平性的交集，”Shi 表示。“我们计划开发先进的跨层协同设计框架，在考虑硬件约束的同时优化神经网络架构以实现公平性。这种方法将涉及探索新型硬件平台，这些平台本质上既支持公平性又支持效率。”
作为下一步研究的一部分，研究人员还计划设计自适应训练技术，以解决不同硬件系统的多变性和局限性。这些技术可以确保人工智能模型无论在什么设备上运行以及部署在什么情况下都能保持公平。
“我们感兴趣的另一个途径是研究如何调整特定的硬件配置来提高公平性，这可能会导致以公平性为主要目标设计新类型的设备，”Shi 补充道。“随着人工智能系统变得越来越普遍，对公平、公正决策的需求也变得越来越迫切，这些努力至关重要。”
更多信息： Yuanbo Guo 等人，硬件设计和神经网络的公平性，Nature Electronics (2024)。DOI ：10.1038/s41928-024-01213-0
期刊信息： Nature Electronics