新技术减少了人工智能模型中的偏见，同时保持或提高了准确性

Josiah02

当机器学习模型尝试为训练数据集中代表性不足的个人做出预测时，它们可能会失败。
例如，一个用于预测慢性病患者最佳治疗方案的模型可能使用主要包含男性患者的数据集进行训练。当该模型部署到医院时，可能会对女性患者做出错误的预测。
为了改善结果，工程师可以尝试通过移除数据点来平衡训练数据集，直到所有子组都得到同等的代表。虽然数据集平衡很有前景，但它通常需要移除大量数据，从而损害模型的整体性能。
麻省理工学院的研究人员开发了一种新技术，可以识别并删除训练数据集中导致模型在少数群体中失败的最主要因素的特定点。通过删除比其他方法少得多的数据点，该技术可以保持模型的整体准确性，同时提高其在代表性不足的群体中的表现。
此外，该技术还可以识别缺少标签的训练数据集中隐藏的偏见来源。在许多应用中，未标记数据比标记数据更为普遍。
该方法还可以与其他方法相结合，以提高在高风险情况下部署的机器学习模型的公平性。例如，它有朝一日可能有助于确保代表性不足的患者不会因有偏见的人工智能模型而被误诊。
“许多其他试图解决此问题的算法都假设每个数据点都与其他数据点一样重要。在本文中，我们将表明该假设并不正确。
麻省理工学院电气工程与计算机科学 (EECS) 研究生Kimia Hamidieh 表示：“我们的数据集中有一些特定的点导致了这种偏差，我们可以找到这些数据点，将其删除，并获得更好的性能。”她是在arXiv预印本服务器上发布的有关这项技术的论文的共同主要作者。
她与共同主要作者 Saachi Jain (24 届博士生) 和 EECS 研究生 Kristian Georgiev、斯坦福大学斯坦因研究员 Andrew Ilyas (18 届硕士生、23 届博士生) 以及资深作者 Marzyeh Ghassemi（EECS 副教授、医学工程科学研究所和信息与决策系统实验室成员）和麻省理工学院 Cadence 设计系统教授 Aleksander Madry 共同撰写了这篇论文。
该研究将于 12 月 10 日至 15 日在温哥华举行的神经信息处理系统会议（NeurIPS 2024）上发表。
消除不良示例
通常，机器学习模型使用从互联网上的许多来源收集的大量数据集进行训练。这些数据集太大，无法手工精心整理，因此它们可能包含损害模型性能的不良示例。
科学家还知道，某些数据点对模型在某些下游任务上的性能的影响比其他数据点更大。
麻省理工学院的研究人员将这两种想法结合起来，形成了一种识别和删除这些有问题的数据点的方法。他们试图解决一种称为最差组误差的问题，这种误差发生在模型在训练数据集中的少数子组上表现不佳时。
研究人员的新技术是由先前的研究推动的，他们引入了一种名为 TRAK 的方法，可以识别特定模型输出的最重要的训练示例。
对于这种新技术，他们采用模型对少数群体做出的错误预测，并使用 TRAK 来确定哪些训练示例对该错误预测贡献最大。
“通过以正确的方式汇总糟糕的测试预测信息，我们能够找到导致最差组准确率整体下降的具体训练部分，”Ilyas 解释道。
然后他们删除那些特定的样本，并在剩余的数据上重新训练模型。
由于更多数据通常会产生更好的整体性能，因此仅删除导致最差组失败的样本可以保持模型的整体准确性，同时提高其在少数子群上的性能。
更易于访问的方法
在三个机器学习数据集中，他们的方法优于多种技术。在一个实例中，它提高了最差组准确率，同时比传统的数据平衡方法少删除了大约 20,000 个训练样本。他们的技术还比需要更改模型内部工作原理的方法实现了更高的准确率。
由于 MIT 方法涉及改变数据集，因此对于从业者来说更容易使用，并且可以应用于多种类型的模型。
当偏差未知时也可以使用它，因为训练数据集中的子组没有标记。通过识别对模型正在学习的特征贡献最大的数据点，他们可以了解它用于进行预测的变量。
“这是一个任何人在训练机器学习模型时都可以使用的工具。他们可以查看这些数据点，看看它们是否与他们试图教给模型的能力相符，”Hamidieh 说。
使用该技术检测未知的亚群偏见需要直觉地了解要寻找哪些群体，因此研究人员希望通过未来的人类研究来验证它并更充分地探索它。
他们还希望提高该技术的性能和可靠性，并确保该方法可供有朝一日可以在现实环境中部署它的从业者使用和​​使用。
“当你拥有可以让你批判性地看待数据并找出哪些数据点会导致偏见或其他不良行为的工具时，它就为你迈出了建立更公平、更可靠的模型的第一步，”Ilyas 说。