创建公平准确的人工智能：框架超越二元决策，提供更细致入微的方法

Josiah02

机器学习领域最难平衡的两个品质是公平性和准确性。针对准确性进行优化的算法可能会无意中延续针对特定群体的偏见，而那些优先考虑公平性的算法可能会因对某些数据点进行错误分类而损害准确性。
考虑到这一挑战，CSAIL 的一个团队率先设计了一个框架，以便采用更细致入微的方法来平衡这些品质。
他们的框架不是强制将所有数据点标记为“好”或“坏”的二元决策，而是使用拒绝选项分类 (ROC) 算法，该算法分配第三类“被拒绝的样本”，从而允许其识别模型可能不太确定或预测可能导致不公平的情况。
通过拒绝这些实例，该框架可以降低某些群体（即按年龄或性别）出现不公平结果的可能性，而不会大幅牺牲整体准确性。
还可以进一步分析“被拒绝”的实例，以了解数据或模型中潜在的偏差来源。反过来，这些信息可以用来改进模型和数据收集过程，以减轻未来的偏差。
该框架的开发由麻省理工学院研究员、前教授 Amar Gupta 与研究助理 Rashmi Nagpal 和工程硕士学生 Ariba Khan 共同领导。Gupta 表示，现有系统通常只注重优化“群体公平”，确保受保护群体之间不受歧视。相比之下，他们的框架融合了群体公平和个人公平，即以同等方式对待可比的个人用户。
例如，假设机器学习模型用于预测个人申请抵押贷款的贷款批准可能性。“群体公平”要求模型预测男性和女性的贷款批准率相似，确保对不同性别的公平对待。相比之下，“个人公平”意味着模型将为具有同等资格的个人提供类似的预测，无论他们的年龄、性别或种族如何。
该团队通过实验分析将其基于 ROC 的框架与类似系统进行了比较，结果表明该框架能够同时实现高精度和公平性。在德国信用评分数据集上，该模型的准确率超过 94%，这意味着该模型应该能够为具有可比资格和环境的个人提供类似的预测，而不受年龄、性别或种族等敏感特征的影响。”
古普塔表示，目前该领域的大多数研究都涉及公共数据集，但该团队希望探索更多的私人数据集，以提高在许多不同行业领域广泛使用的算法的去偏适用性。
“这些公平公正问题并不局限于一个组织或一个行业，也不局限于一个孤立因素，”Gupta 说道。“ROC 这样的工具可以真正应用于任何需要对数据做出明智判断的领域，从金融到医疗保健。”
该团队在《机器学习与知识提取》特刊上发表的一篇论文中介绍了他们的框架。第二篇相关论文（“优化公平性和准确性：决策的帕累托最优方法”）也于今年早些时候在《人工智能与伦理》杂志上发表。
在第二篇论文中，研究人员与安永和其他 CSAIL 附属公司的同事密切合作，研究了一种基于帕累托最优经济学概念的决策方法。这种方法寻求一种资源分配状态，即在不降低解决方案的一个方面（即准确性）的情况下，无法改善另一个方面（公平性）。
研究人员专门开发了一种名为“最小最大帕累托公平”（MMPF）的框架的扩展，该框架使用多目标损失函数，再次结合群体和个人公平的元素来实现帕累托最优。
该团队在几个开源数据集上测试了他们的框架，包括成人人口普查收入、COMPAS 和德国信用数据集，并显示在各种敏感特征的准确性和公平性权衡方面显著降低。
新框架侧重于使用两个公平指标来平衡公平性和绩效，并计划在未来进行更多探索。研究人员的目标是将训练方法与预处理或后处理策略相结合，以增强结果。Nagpal 表示，下一步包括使用差异权重微调公平权衡，并改进帕累托重新加权过程以将单个权重分配给数据点，以实现更好的优化。