研究人员认为，尽管生成式人工智能的输出令人印象深刻，但它对世界并没有连贯的理解

Josiah02

大型语言模型可以做一些令人印象深刻的事情，例如写诗或生成可行的计算机程序，即使这些模型被训练来预测一段文本中接下来的单词。
这种令人惊讶的能力使得模型看起来好像正在隐性地学习有关世界的某些普遍真理。
但一项新研究表明，情况并非如此。研究人员发现，一种流行的生成式人工智能模型可以近乎完美地提供纽约市的逐向驾驶路线指引——而无需形成准确的城市内部地图。
尽管该模型具有出色的有效导航能力，但当研究人员关闭一些街道并增加绕行路线时，其性能却急剧下降。
深入挖掘后，研究人员发现，模型隐式生成的纽约地图有许多不存在的街道在网格之间弯曲并连接远处的交叉路口。
这可能会对现实世界中部署的生成式人工智能模型产生严重影响，因为如果任务或环境稍有变化，在某种情况下表现良好的模型可能会崩溃。
“一个希望是，因为法学硕士可以在语言方面完成所有这些惊人的事情，也许我们也可以在其他科学领域使用这些相同的工具。但如果我们想利用这些技术来取得新发现，那么法学硕士是否正在学习连贯的世界模型的问题非常重要，”资深作者、经济学助理教授兼麻省理工学院信息与决策系统实验室 (LIDS) 首席研究员 Ashesh Rambachan 说。
与 Rambachan 一起撰写了一篇关于该项研究的论文的还有：哈佛大学博士后 Keyon Vafa、麻省理工学院电气工程与计算机科学 (EECS) 研究生 Justin Y. Chen、康奈尔大学 Tisch 大学计算机科学与信息科学教授 Jon Kleinberg 以及麻省理工学院电气工程与计算机科学系和经济学系教授、LIDS 成员 Sendhil Mullainathan。这项研究将在神经信息处理系统会议上发表。
该作品发表在arXiv预印本服务器上。
新指标
研究人员专注于一种称为 transformer 的生成式 AI 模型，该模型构成了 GPT-4 等 LLM 的支柱。Transformer 经过大量基于语言的数据训练，可以预测序列中的下一个标记，例如句子中的下一个单词。
但研究人员表示，如果科学家想要确定法学硕士是否形成了准确的世界模型，仅仅测量其预测的准确性是不够的。
例如，他们发现，Transformer 几乎每次都可以预测四子棋游戏中的有效动作，而无需了解任何规则。
因此，该团队开发了两个可以测试 Transformer 世界模型的新指标。研究人员将评估重点放在一类称为确定性有限自动机 (DFA) 的问题上。
DFA 是一个具有一系列状态的问题，就像到达目的地必须穿过的路口一样，也是描述沿途必须遵循的规则的具体方法。
他们选择了两个问题来表述为 DFA：在纽约市街道上导航和玩棋盘游戏奥赛罗。
“我们需要测试平台，以便了解世界模型是什么。现在，我们可以严格思考恢复那个世界模型意味着什么，”Vafa 解释道。
他们开发的第一个指标称为序列区分，表示如果模型看到两种不同的状态（如两个不同的奥赛罗棋盘），并能识别出它们的不同之处，则该模型已形成连贯的世界模型。序列（即数据点的有序列表）是转换器用来生成输出的。
第二个指标称为序列压缩，它表示具有连贯世界模型的变换器应该知道两个相同的状态，就像两个相同的奥赛罗棋盘一样，具有相同的可能的后续步骤序列。
他们使用这些指标来测试两类常见的变压器，一类是用随机产生的序列生成的数据进行训练的，另一类是用以下策略生成的数据进行训练的。
不连贯的世界模型
令人惊讶的是，研究人员发现，随机做出选择的变压器形成了更准确的世界模型，也许是因为他们在训练期间看到了更多潜在的下一步。
“在黑白棋中，如果你看到的是两台随机的计算机而不是冠军选手在玩，理论上你会看到所有可能的走法，甚至是冠军选手不会走的坏步，”瓦法解释道。
尽管变换器在几乎所有情况下都产生了准确的方向和有效的奥赛罗动作，但这两个指标表明，只有一个为奥赛罗动作生成了连贯的世界模型，并且在寻路示例中没有一个在形成连贯的世界模型方面表现良好。
研究人员通过在纽约市地图上添加绕行路线证明了这一点的含义，这导致所有导航模型失败。
“我很惊讶，我们一增加绕行路线，性能就下降得如此之快。如果我们关闭 1% 的可能街道，准确率就会立即从近 100% 下降到只有 67%”，Vafa 说。
当他们恢复模型生成的城市地图时，它们看起来就像一个想象中的纽约市，数百条街道纵横交错地覆盖在网格之上。地图上经常包含其他街道上方的随机立交桥或多条方向不可能的街道。
这些结果表明，Transformer 无需理解规则就能在某些任务上表现出色。研究人员表示，如果科学家想要构建能够捕捉精确世界模型的 LLM，他们需要采取不同的方法。
“我们经常看到这些模型做出令人印象深刻的事情，并认为它们一定对世界有所了解。我希望我们能让人们相信，这是一个需要认真思考的问题，我们不必依靠自己的直觉来回答它，”Rambachan 说。
未来，研究人员希望解决更加多样化的问题，比如那些只部分了解某些规则的问题。他们还希望将评估指标应用于现实世界的科学问题。