当申请人数众多时，新算法会挑选出更公平的候选名单

Josiah02

康奈尔大学的研究人员开发了一种更公平的方法，可以在信息不足而难以选择的情况下从大量申请者中选出最优秀的候选人。
虽然人类仍然会做出许多高风险的决定——比如谁应该得到一份工作、进入大学或参加临床试验——但人工智能(AI) 模型越来越多地被用来将申请者缩小到可管理的候选名单中。在一项新研究中，康奈尔大学安·S·鲍尔斯计算机与信息科学学院的研究人员发现，如果模型对某些候选人的了解多于其他候选人，传统的排名方法就会变得不公平——而这种差异往往会影响少数群体的人。
传统方法经常会给这些候选人一个较低的排名，这并不是因为算法确定他们不合格，而仅仅是因为缺乏信息。这个问题被称为“分散不确定性”。在这种情况下，数据较少的群体中合格的申请人中，很少有人能进入人工审核的候选名单。
“这种不确定性现象相当普遍，也是不公平现象的根源，尤其是在排名方面，”计算机科学领域的博士生 Richa Rastogi 表示。“如果这一组人中没有一个人入围，人类决策者就不可能意识到他们有资格入围。”
10 月 29 日，Rastogi 在墨西哥圣路易斯波多西举行的ACM 算法、机制和优化公平与访问会议 (EAAMO'24)上展示了这项研究成果“不同不确定性下的排名公平性” 。该论文发表在arXiv预印本服务器上。
在这篇新论文中，Rastogi 和资深作者、计算机科学与信息科学教授 Thorsten Joachims找到了一种方法来量化排名算法忽略信息量较少的群体中符合条件的人员时发生的不公平程度。与信息量较高的群体相比，这些人承受了大部分不公平负担，而信息量较高的群体更有可能进入候选名单。
平衡各组负担的一种方法是从所有申请者中随机抽取——本质上将整个过程变成了抽签。但拉斯托吉表示，随机抽签对于从大量申请者中选出合格候选人而言效率低下。
相反，她开发了一种名为平等机会排名 (EOR) 的排名算法，该算法在两个群体之间更平等地分摊不公平负担，同时仍能成功选出合格的个人。EOR 的工作原理是从两个群体中选出相等比例的合格候选人。
“我们证明了 EOR 算法可以将符合条件的候选人推至最高位置，同时相当于在所有组中的符合条件的候选人中进行抽签，”Joachims 说。“令人惊讶的是，尽管 EOR 无法准确知道谁符合条件，但它仍能做到这一点。”
Rastogi 使用不同的真实世界数据集表明，在存在不同不确定性的情况下，EOR 比现有的排名算法更公平。
在一个例子中，她模拟了寻找可能有资格获得某项福利的候选人的问题。EOR 使用来自 125,000 多人的美国人口普查信息，能够根据人口统计和就业数据以比其他排名方法更公平的方式选择特定收入水平的个人，尽管底层 AI 模型对某些种族群体存在偏见。
EOR 还有另一个应用：审核搜索结果的公平性。Rastogi 用它来评估亚马逊是否有可能在搜索结果中将其自有品牌产品列在其他卖家的排名较高的产品之上——这是调查记者之前提出的指控。
研究人员使用了记者创建的亚马逊购物搜索公开数据集和亚马逊网站上推荐产品排名的样本模型。他们发现，亚马逊有时会将自己的产品排名高于使用 EOR 方法时。
然而，他们警告说，这并不能成为不公平的确凿证据，因为他们无法获得亚马逊用于制作产品推荐的实际模型。