“时间之箭”效应：法学硕士更善于预测接下来会发生什么，而不是之前发生了什么

Josiah02

研究人员发现，像 GPT-4 这样的人工智能大型语言模型在预测句子接下来的内容方面比预测句子之前的内容方面表现更好。这种“时间之箭”效应可能会重塑我们对自然语言结构的理解，以及这些模型理解它的方式。
大型语言模型 (LLM)（例如 GPT-4）已成为文本生成、编码、操作聊天机器人、翻译等任务中不可或缺的一部分。LLM 的本质是根据句子中的前一个单词预测下一个单词——这是一个简单但强大的想法，推动了其大部分功能。
但是，当我们要求这些模型向后预测——“回顾时间”并从后续单词中确定前一个单词时，会发生什么呢？
这个问题促使 EPFL 的 Clément Hongler 教授和伦敦金史密斯学院的 Jérémie Wenger 开始探索法学硕士是否能够从结尾开始倒着构建一个故事。在与 EPFL 的机器学习研究员 Vassilis Papadopoulos 合作的过程中，他们发现了一些令人惊讶的事情：法学硕士在向后预测时准确率始终低于向前预测。
根本性的不对称
研究人员测试了不同架构和大小的 LLM，包括生成式预训练 Transformer (GPT)、门控循环单元 (GRU) 和长短期记忆 (LSTM) 神经网络。它们都表现出“时间之箭”偏差，揭示了 LLM 处理文本的根本不对称性。
Hongler 解释道：“这一发现表明，虽然 LLM 在预测文本中的下一个单词和前一个单词方面表现相当出色，但它们在预测后一个单词时的表现总是比预测前一个单词时的表现略差：它们在预测前一个单词时的表现总是比预测下一个单词时的表现差几个百分点。这种现象在各种语言中都是普遍存在的，可以在任何大型语言模型中观察到。”
这项研究还与信息论之父克劳德·香农1951 年发表的开创性论文有关。香农探索了预测序列中的下一个字母是否与预测前一个字母一样容易。他发现，尽管从理论上讲，这两项任务应该同样困难，但人类发现向后预测更具挑战性——尽管表现差异很小。
智能代理
“理论上，正向和反向之间应该没有区别，但 LLM 似乎对处理文本的时间方向很敏感，”Hongler 说。“有趣的是，这与语言结构的深层特性有关，这种特性只有在过去五年中随着大型语言模型的出现才被发现。”
研究人员将这一特性与处理信息的智能代理的存在联系起来，这意味着它可以用作检测智能或生命的工具，并帮助设计更强大的 LLM。最后，它可以为长期以来对理解物理学中出现的现象——时间流逝——的探索指明新的方向。
该作品发表在arXiv预印本服务器上。
从戏剧到数学
这项研究本身有一个引人入胜的背景故事，洪勒讲述了这个故事。“2020 年，我们与杰里米·温格 (Jérémie Wenger) 合作，与 The Manufacture 戏剧学校合作，制作了一个聊天机器人，它可以与演员一起进行即兴表演；在即兴表演中，你经常想继续讲故事，同时知道结局应该是什么样子。
“为了让故事以特定的方式结束，我们想到了一个主意，训练聊天机器人‘倒着’说话，让它根据故事的结局创作一个故事——例如，如果结局是‘从此他们过上了幸福的生活’，模型就可以告诉你故事是如何发生的。因此，我们训练模型这样做，并发现它们倒着说比正着说更糟糕。
“后来，我们和瓦西里斯（帕帕多普洛斯）一起意识到，这是语言的一个深刻特征，是一种完全普遍的新现象，与时间的流逝、智力和因果关系概念有着深刻的联系。对于一些戏剧项目来说，这很酷。”
洪勒对这项工作的兴奋很大程度上源于过程中的意外惊喜。“只有时间才能证明，最初作为戏剧项目的东西最终会给我们带来新的工具来理解世界上的很多事情。”