人工智能工具在根据种族和性别对求职者姓名进行排名时表现出偏见

Josiah02

招聘的未来似乎是自动化的。求职者现在可以使用人工智能机器人申请成千上万的职位。长期以来，一些公司已经将部分流程自动化，现在它们正在部署最新的人工智能大型语言模型来编写职位描述、筛选简历和筛选求职者。据估计，目前 99% 的《财富》500 强公司在招聘过程中使用某种形式的自动化。
这种自动化可以提高效率，有人声称它可以减少招聘过程中的歧视。但华盛顿大学的新研究发现，三种最先进的大型语言模型（LLM）在对简历进行排名时存在明显的种族、性别和交叉偏见。研究人员在 550 多份现实世界的简历中采用了与白人和黑人男性和女性相关的名字，发现 LLM 85% 的时间偏爱与白人相关的名字，只有 11% 的时间偏爱与女性相关的名字，并且从不偏爱与黑人男性相关的名字而不是与白人男性相关的名字。
该团队于 10 月 22 日在圣何塞举行的AAAI/ACM 人工智能、伦理和社会会议上展示了其研究成果。
“人工智能工具在招聘流程中的应用已经非常广泛，而且其发展速度比我们能够监管的速度还要快，”该研究的主要作者、华盛顿大学信息学院的博士生 Kyra Wilson 说道。“目前，除了纽约市的法律之外，这些系统没有监管和独立审计，所以我们不知道它们是否存在基于种族和性别等受保护特征的偏见和歧视。而且由于许多此类系统都是专有的，我们只能通过模拟现实世界的系统来分析它们的工作原理。”
此前的研究发现，ChatGPT 在筛选简历时会表现出种族和残疾偏见。但这些研究规模相对较小（仅使用一份简历或四条招聘信息），而且 ChatGPT 的 AI 模型是所谓的“黑匣子”，限制了分析选项。
华盛顿大学团队希望研究开源法学硕士，并大规模开展。他们还希望调查跨种族和性别的交叉性。
研究人员在简历中对 120 个与白人和黑人男性和女性相关的名字进行了修改。然后，他们使用了三家不同公司（Mistral AI、Salesforce 和 Contextual AI）的三项最先进的法学硕士学位，将简历作为 500 份真实职位的申请人进行排名。这些职位涉及九个职业，包括人力资源工作者、工程师和教师。这相当于对简历和职位描述进行了超过 300 万次比较。
然后，该团队评估了系统针对这四个人口统计数据给出的建议的统计意义。系统首选：
85% 的时间是与白人相关的名字，而 9% 的时间是与黑人相关的名字；
与男性相关的名字占 52%，而与女性相关的名字占 11%。
该团队还研究了交叉身份，发现偏见模式不仅仅是种族和性别身份的总和。例如，研究显示，典型的白人女性名字和典型的白人男性名字之间的差异最小。而且系统从来不会偏爱被认为是黑人男性的名字而不是白人男性的名字。然而，它们在 67% 的时间里也偏爱典型的黑人女性名字，而在 15% 的时间里偏爱典型的黑人男性名字。
“我们发现这种对黑人男性的伤害非常独特，仅从种族或性别角度来看不一定能看出这一点，”威尔逊说。“目前，交叉性仅在加利福尼亚州是一种受保护的属性，但研究身份的多维组合对于确保人工智能系统的公平性非常重要。如果它不公平，我们需要记录下来，以便改进。”
研究团队指出，未来的研究应探索能够使人工智能系统与政策保持一致的偏见和伤害减少方法。研究还应调查其他受保护的属性，例如残疾和年龄，以及更多种族和性别身份——重点是交叉身份。
“现在生成式人工智能系统已经广泛应用，几乎任何人都可以使用这些模型来完成影响自己和他人生活的关键任务，例如招聘，”华盛顿大学信息学院助理教授、资深作者 Aylin Caliskan 说。
“例如，小公司可以尝试使用这些系统来提高招聘流程的效率，但这也伴随着巨大的风险。公众需要了解这些系统存在偏见。除了招聘歧视和不平等等分配性危害之外，这种偏见还极大地影响了我们对种族、性别和社会的看法。”