为什么微软的 Copilot AI 会错误地指控法庭记者报道的犯罪行为

Josiah02 · 发表于 2024-9-20 14:11:02

当德国记者马丁·伯恩克劳 (Martin Bernklau) 在微软的 Copilot 中输入他的姓名和位置，看看他的文章会如何被聊天机器人选中时，得到的答案让他感到震惊。
Copilot 的结果断言，伯恩克劳是一名从精神病院逃出的人、一名被定罪的虐待儿童者以及一个专门欺骗丧偶者的骗子。多年来，伯恩克劳一直担任法庭记者，而人工智能 (AI) 聊天机器人错误地将他所报道的犯罪事件归咎于他。
当然，对 Bernklau 的指控并不属实，这只是生成性人工智能“幻觉”的例子。这些幻觉是对用户提供的提示做出的不准确或无意义的回应，在这项技术中非常常见。任何试图使用人工智能的人都应该非常谨慎，因为来自此类系统的信息需要经过人类的验证和核实才能被信任。
但是为什么副驾驶会出现幻觉，听到这些可怕又虚假的指控呢？
Copilot 和其他生成式 AI 系统（如 ChatGPT 和 Google Gemini）都是大型语言模型(LLM)。LLM 中的底层信息处理系统被称为“深度学习神经网络”，它使用大量人类语言来“训练”其算法。
通过训练数据，算法可以学习不同单词之间的统计关系以及某些单词在文本中同时出现的可能性。这使得法学硕士能够根据计算出的概率预测最有可能的答案。法学硕士并不具备实际知识。
用于训练 Copilot 和其他 LLM 的数据非常庞大。虽然 Copilot 或 ChatGPT 语料库的规模和组成细节尚未公开披露，但 Copilot 整合了整个 ChatGPT 语料库以及微软自己的特定附加文章。众所周知，ChatGPT4 的前身——ChatGPT3 和 3.5——使用了“数千亿个单词”。
Copilot 基于 ChatGPT4，它使用的语料库比 ChatGPT3 或 3.5 更大。虽然我们不知道这到底有多少个单词，但不同版本的 ChatGPT 之间的跳跃往往要大几个数量级。我们还知道语料库包括书籍、学术期刊和新闻文章。这就是 Copilot 产生幻觉认为 Bernklau 犯下了滔天罪行的原因。
贝恩克劳经常报道虐待、暴力和欺诈等刑事案件，这些报道发表在国内外报纸上。他的文章应该被收录在使用与案件性质相关的特定词汇的语料库中。
由于伯恩克劳多年来一直在法庭上报道，当 Copilot 被问及他时，他的名字最有可能与他作为记者报道过的犯罪有关。这不是唯一一起此类案件，未来几年我们可能会看到更多此类案件。
2023 年，美国脱口秀电台主持人马克·沃尔特斯成功起诉了ChatGPT 的拥有者 OpenAI 公司。沃尔特斯主持一档名为“武装美国电台”的节目，该节目探讨并促进美国的持枪权。
这位法学硕士产生了幻觉，以为沃尔特斯因诈骗和挪用资金而被支持枪支权利的美国组织第二修正案基金会 (SAF) 起诉。此前，一名记者向 ChatGPT 询问了一起有关 SAF 和华盛顿州总检察长之间的真实且正在进行的法律案件。
沃尔特斯从未为 SAF 工作过，也没有以任何方式参与 SAF 和华盛顿州之间的案件。但由于该基金会的目标与沃尔特斯的节目相似，因此可以推断，语言语料库中的文本内容在沃尔特斯和 SAF 之间建立了统计相关性，从而导致了幻觉。
更正
在整个语言语料库中纠正这些问题几乎是不可能的。语料库中包含的每一篇文章、句子和单词都需要仔细检查，以识别和删除有偏见的语言。考虑到数据集的规模，这是不切实际的。
像 Bernklau 的情况一样，幻觉会错误地将人与犯罪联系起来，这种幻觉更难发现和解决。为了永久解决这个问题，Copilot 需要删除 Bernklau 的名字作为文章作者，以切断这种联系。
为了解决这个问题，微软设计了一种自动响应，当用户向 Copilot 询问 Bernklau 的情况时，系统会给出该响应。该响应详细说明了幻觉，并澄清 Bernklau 对任何指控均不不认罪。微软表示，它会不断采纳用户反馈并推出更新，以改进其响应并提供积极的体验。
可能还有更多类似的例子尚未发现。试图解决每一个问题变得不切实际。幻觉是底层 LLM 算法工作方式不可避免的副产品。
作为这些系统的用户，我们唯一能知道输出是否可信的方法是使用一些既定方法查询其有效性。这可能包括找到三个独立的来源，这些来源都同意 LLM 的断言，然后才接受输出为正确的，正如我自己的研究表明的那样。
对于拥有这些工具的公司，如微软或 OpenAI，并没有真正的主动策略可以避免这些问题。他们真正能做的就是对类似幻觉的发现做出反应。

账号		自动登录	找回密码
密码			立即注册