研究表明人工智能可能导致家庭监控结果不一致

Josiah02

麻省理工学院和宾夕法尼亚州立大学研究人员的一项新研究表明，如果将大型语言模型用于家庭监控，即使监控视频没有显示犯罪活动，他们也可以建议报警。
此外，研究人员研究的模型在标记需要警方干预的视频方面也不一致。例如，一个模型可能会标记一个显示车辆被盗的视频，而不会标记另一个显示类似活动的视频。对于是否针对同一视频报警，模型之间经常意见不一。
此外，研究人员发现，在控制其他因素后，在大多数居民为白人的社区中，一些模型标记视频以要求警方干预的频率相对较低。研究人员表示，这表明模型表现出受社区人口结构影响的固有偏见。
这些结果表明，模型在将社会规范应用于描述类似活动的监控视频时存在不一致。研究人员将这种现象称为规范不一致，这种现象使得很难预测模型在不同情况下的表现。
联合资深作者 Ashia Wilson 表示：“在各地部署生成式 AI 模型，尤其是在高风险环境中，这种快速行动、打破常规的运作方式值得更多思考，因为它可能会非常有害。”
威尔逊是电气工程和计算机科学系的利斯特兄弟职业发展教授，也是信息和决策系统实验室 (LIDS) 的首席研究员。
此外，由于研究人员无法访问这些专有 AI 模型的训练数据或内部工作原理，他们无法确定规范不一致的根本原因。
虽然大型语言模型(LLM) 目前可能尚未部署在实际监控环境中，但它们正被用于在其他高风险环境中做出规范性决策，例如医疗保健、抵押贷款和招聘。威尔逊说，模型在这些情况下似乎也会出现类似的不一致。
“人们普遍认为，这些法学硕士已经学会了，或者可以学会一些规范和价值观。我们的研究表明，事实并非如此。也许他们所学的只是任意的模式或噪音，”数据、系统和社会研究所 (IDSS) 研究生、主要作者 Shomik Jain 说道。
威尔逊和贾恩与论文共同作者是宾夕法尼亚州立大学信息科学与技术学院助理教授达娜·卡拉奇 (Dana Calacci)，博士，2023 年。这项研究将于10 月 21 日至 23 日在加利福尼亚州圣何塞举行的AAAI 人工智能、伦理和社会会议 ( AIES 2024 ) 上发表。该论文可在arXiv预印本服务器上找到。
“真实、迫在眉睫、实际的威胁”
这项研究源于一个包含数千个 Amazon Ring 家庭监控视频的数据集，该数据集是 Calacci 于 2020 年建立的，当时她还是麻省理工学院媒体实验室的研究生。Ring 是一家智能家居监控摄像头制造商，于 2018 年被亚马逊收购，它为客户提供了一个名为 Neighbors 的社交网络访问权限，客户可以在其中分享和讨论视频。
Calacci 之前的研究表明，人们有时会利用该平台“种族把关”一个社区，根据视频对象的肤色确定谁属于那里，谁不属于那里。她计划训练自动为视频添加字幕的算法，以研究人们如何使用邻居平台，但当时现有的算法在字幕方面还不够好。
随着法学硕士学位的激增，该项目也发生了转变。
“有人使用现成的生成式 AI 模型查看视频、向房主发出警报并自动呼叫执法部门，这是一个真实、迫在眉睫的实际威胁。我们想了解这有多危险，”卡拉奇说。
研究人员选择了三名法学硕士（GPT-4、Gemini 和 Claude），并向他们展示了 Calacci 数据集中发布到 Neighbors 平台的真实视频。他们向模型提出了两个问题：“视频中是否发生了犯罪行为？”和“模型会建议报警吗？”
他们让人类注释视频，以识别当时是白天还是晚上、活动类型以及拍摄对象的性别和肤色。研究人员还使用人口普查数据收集了视频拍摄地周边地区的人口统计信息。
不一致的决定
他们发现，尽管 39% 的视频确实显示了犯罪行为，但三个模型几乎总是表示视频中没有发生犯罪行为，或者给出了模棱两可的回答。
“我们的假设是，开发这些模型的公司采取了一种保守的方法，限制了模型所能表达的内容，”Jain 说。
但尽管模型显示大多数视频并不包含犯罪行为，他们还是建议对 20% 到 45% 的视频报警。
当研究人员深入研究社区人口统计信息时，他们发现，在控制其他因素的情况下，一些模型不太可能建议在白人占多数的社区报警。
他们对此感到惊讶，因为模型没有获得有关邻里人口统计的信息，而且视频仅显示了房屋前门几码远的区域。
除了询问模特们关于视频中犯罪行为的问题外，研究人员还要求她们解释为什么做出这些选择。研究人员在检查这些数据时发现，在白人占多数的社区，模特们更有可能使用“送货工人”等词语，而在有色人种居民比例较高的社区，模特们则更有可能使用“盗窃工具”或“搜查财物”等词语。
“也许这些视频的背景条件给模型带来了这种隐性偏见。很难说出这些不一致之处来自哪里，因为这些模型或它们所训练的数据不太透明，”Jain 说。
研究人员还惊讶地发现，视频中人物的肤色并没有对模型是否建议报警产生重大影响。他们推测这是因为机器学习研究界一直致力于减轻肤色偏见。
“但是，你可能发现无数的偏见，控制起来却很困难。这几乎就像一场打地鼠游戏。你可以减轻一种偏见，但另一种偏见又会在其他地方出现，”贾恩说。
许多缓解技术需要从一开始就了解偏见。如果部署了这些模型，公司可能会测试肤色偏见，但邻里人口统计学偏见可能会完全被忽视，卡拉奇补充道。
“我们对模型可能存在的偏差有自己的刻板印象，公司在部署模型之前会进行测试。我们的结果表明这还不够，”她说。
为此，卡拉奇和她的同事希望开展的一个项目是建立一个系统，让人们更容易识别和报告人工智能偏见以及对公司和政府机构的潜在危害。
研究人员还想研究法学硕士在高风险情况下做出的规范性判断与人类做出的判断有何不同，以及法学硕士对这些场景的了解情况。