向人工智能用户展示训练数据的多样性可以提高公平性和信任度

Josiah02 · 发表于 2024-10-23 12:18:32

虽然人工智能 (AI) 系统（例如家庭助理、搜索引擎或 ChatGPT 等大型语言模型）似乎无所不知，但它们的输出质量仅取决于训练它们的数据。然而，易用性往往导致用户在不了解使用了哪些训练数据或谁准备了数据的情况下采用 AI 系统，包括数据中可能存在的偏见或训练者持有的偏见。
宾夕法尼亚州立大学研究人员的一项新研究表明，提供这些信息可以塑造对人工智能系统的适当期望，并进一步帮助用户就是否以及如何使用这些系统做出更明智的决定。
这项研究调查了显示种族多样性提示（人工智能界面上的视觉信号，用于传达训练数据的种族构成以及通常由众包人员标注的数据的背景）是否能够增强用户对算法公平性和信任度的期望。他们的研究结果最近发表在《人机交互》杂志上。
宾夕法尼亚州立大学埃文·普格大学教授、社会责任人工智能中心主任 S. Shyam Sundar 表示，人工智能训练数据在种族、性别和其他特征方面往往存在系统性偏见。
他说： “用户可能没有意识到，使用某些人工智能系统可能会延续人类的偏见决策。”
该研究的主要作者、伊隆大学传播设计助理教授程“克里斯”陈 (Cheng “Chris” Chen) 曾在宾夕法尼亚州立大学获得大众传播博士学位，她解释说，用户通常无法评估人工智能系统中嵌入的偏见，因为他们不了解训练数据或训练师的信息。
陈说：“这种偏见在用户完成任务后就会出现，这意味着伤害已经造成，因此用户在使用人工智能之前没有足够的信息来决定是否信任它。”
桑德尔说，一个解决方案就是传达训练数据的性质，特别是其种族构成。
“这就是我们在这项实验研究中所做的，目的是找出这是否会对他们对系统的看法产生任何影响，”桑德尔说。
为了了解多样性线索如何影响对人工智能系统的信任，研究人员创建了两种实验条件，一种是多样性的，一种是非多样性的。在前一种情况下，参与者查看了机器学习模型和数据标记实践的简短描述，以及一个条形图，该条形图显示了来自三个种族群体的训练数据中面部图像的均匀分布：白人、黑人和亚洲人，每个种族群体约占数据集的三分之一。
在没有种族多样性的情况下，条形图显示 92% 的图像属于一个主要种族群体。同样，对于贴标者的背景，白人、黑人和亚洲贴标者各占三分之一左右，保持了平衡的代表性。非多样性条件下的条形图显示 92% 的贴标者来自一个种族群体。
参与者首先查看数据卡，其中显示了由人工智能驱动的面部表情分类人工智能工具 HireMe 的训练数据特征。然后，他们观看了三名不同种族、同样合格的男性候选人的自动面试。人工智能系统实时分析候选人的中性面部表情和语气，并呈现给参与者，突出最突出的表情和每个候选人的就业能力。
一半的参与者受到了系统种族偏见的影响，即实验者操纵系统偏向白人候选人，将白人候选人的中性表情评为快乐和适合这份工作，而将黑人和亚洲候选人的表情分别解读为愤怒和恐惧。
在无偏见的条件下，人工智能将喜悦视为每位候选人的突出表情，并同样认为他们适合该职位。然后，参与者被要求对人工智能的分析提供反馈，在五分制上评估他们的同意程度，如果他们不同意，请选择最合适的情绪。
“我们发现，在训练数据和标注者背景中展现种族多样性可以增加用户对人工智能的信任度，”陈说。“提供反馈的机会也帮助参与者培养了更高的自主意识，并增加了他们将来使用人工智能系统的潜力。”
然而，研究人员指出，对公正系统提供反馈会降低白人参与者的可用性。因为他们认为系统已经运行正常且公平，所以他们认为没有必要提供反馈，并将其视为不必要的负担。
研究人员发现，当存在多个种族多样性线索时，它们会独立发挥作用，但数据多样性和标注者多样性线索都能有效塑造用户对系统公平性的感知。研究人员强调了代表性启发法的概念，这意味着如果 AI 模型的种族构成与他们对多样性的理解相符，用户倾向于相信 AI 模型的训练具有种族包容性。
“如果人工智能只是学习某一种族的人所标记的表情，那么该系统可能会歪曲其他种族的情绪，”桑达尔说，他也是宾夕法尼亚州立大学贝利萨里奥传播学院的詹姆斯·P·吉米罗媒体效果教授和媒体效果研究实验室的联席主任。
“例如，在判断一张脸是高兴还是愤怒时，系统需要考虑种族因素，而这在训练过程中以图像和标记者的种族多样性更大形式出现。”
研究人员表示，要使人工智能系统可信，必须公开其训练数据的来源，以便用户可以查看和审查它以确定他们的信任程度。
Sundar 表示：“让这些信息可访问可以提高人工智能系统的透明度和可问责性。即使用户无法访问这些信息，其可用性也表明了道德规范，并促进了这些系统的公平性和信任度。”

账号		自动登录	找回密码
密码			立即注册