人工智能崛起背后的认知研究
20 世纪 70 年代末和 80 年代初，联邦政府对认知研究的资助意外地推动了人工智能的重大进步。这项研究通过计算模型改变了我们对人类认知的理解，也为推动当今人工智能技术的深度学习系统奠定了基础。当联邦机构发放研究经费时，他们永远不知道他们的投资是否会为社会带来回报。在 20 世纪 70 年代末和 80 年代初，这种情况几乎肯定是真的，当时美国国家科学基金会和海军研究办公室资助了詹姆斯·“杰伊”·麦克莱兰、大卫·鲁梅尔哈特和杰弗里·辛顿的模拟人类认知能力的项目。
然而，这项投资带来了一系列研究进展：关于人类如何感知字母和单词的神经网络模型；1986 年出版的两卷书描述了该团队关于我们大脑中的神经网络如何作为并行分布式处理系统发挥作用的理论；鲁梅尔哈特、辛顿和一名名叫罗纳德·威廉姆斯的学生在《自然》杂志上发表了一篇开创性的文章，展示了所谓的反向传播算法的强大功能，这是一种训练神经网络模型从错误中学习的方法。
而这项研究又催生了现代人工智能。“如今，反向传播算法构成了此后开发的所有深度学习系统的基础，也是几乎所有成为现代科技行业驱动力的人工智能系统的基础，”斯坦福大学人文与科学学院社会科学系露西·斯特恩教授、斯坦福大学吴仔神经科学研究所心智、大脑、计算和技术中心主任麦克莱兰说。
这一成果使三人获得了 2024 年金鹅奖，以表彰他们的基础科学研究对世界产生的影响。
麦克莱兰和美国国家科学基金会和美国海军研究办公室一样，从未预料到会出现这样的结果。作为一名认知科学家，“我从未想过要打造人工智能，”他说。但现在人工智能的进步已经回到原点。“我从人工智能和深度学习中汲取灵感，帮助我思考人类思维，同时也在思考思维和大脑能教给人工智能什么。”
从字母感知到神经网络
20 世纪 70 年代，当麦克莱兰和鲁梅尔哈特开始合作时，他们对大脑运作方式的看法与主流观点有所不同。麻省理工学院的诺姆·乔姆斯基和杰里·福多尔等研究人员认为，语言处理本质上是一种符号过程，涉及根据明确的规则操纵有组织的符号排列。
麦克莱兰有不同的看法。凭借感觉神经生理学和动物学习方面的背景，他无法将乔姆斯基和福多等人所谈论的抽象概念与他在动物实验中看到的情况联系起来。例如，测量猫对线段反应时大脑皮层中单个神经元的实验表明，感知似乎并不遵循明确的规则。
他说：“它是连续的，不会分阶段发生。而且它对环境很敏感。”麦克莱兰希望建立一个模型来捕捉这种敏感性。
与此同时，鲁梅尔哈特于 1977 年发表了一篇论文，提出每当我们试图理解一个字母、一个单词、一个短语或一个句子中单词的含义时，我们都会同时使用所有可用信息来约束问题。再次强调：语境很重要。
在麦克莱兰阅读了鲁梅尔哈特的论文后，两人相识并很快意识到他们可以在计算神经网络模型中将他们的想法形式化——计算神经网络模型是一组分层的、简单的计算元素（有时称为“神经元”），它们相互接收输入（即考虑上下文）并相应地更新其状态。
McClelland 表示：“我们希望开发一种神经网络模型，能够捕捉大脑在不同语境中感知字母的一些特征。”例如，当字母出现在单词中时，我们识别字母的速度比在一串随机字母中更快；即使单词的一部分被遮挡、扭曲或掩盖，我们也能直观地判断出单词可能是什么，他说。
他们的初始模型产生的结果与人类受试者的语言实验结果相似——这是麦克莱兰的主要目标。这表明神经网络模型（并行处理系统）是人类认知的合适模型。
但该团队最初的模型将字母和单词视为相互连接的离散单元（“神经元”）。当 Hinton 在 20 世纪 80 年代初加入该团队时，他建议团队应该放弃这样的想法：每个单元或神经元代表一个字母、单词或其他人类可识别或有意义的符号。
相反，他提出，字母、单词或其他符号的符号表示应该被认为只存在于模型网络中许多神经元的联合活动中。该团队于 1986 年出版的两卷书《并行分布式处理》阐述了这些理论。
接下来是致命一击：Rumelhart、Hinton 和 Williams 在 1986 年的《自然》杂志上提出了反向传播算法。
在此之前，神经网络模型的学习能力相当有限：误差只能在网络的最终输出层进行调整，这限制了经验对模型性能的影响。为了克服这一限制，Hinton 建议 Rumelhart 将最小化误差设为特定目标或“目标函数”，并推导出一种优化网络以满足该目标的程序。
受此启发，鲁梅尔哈特找到了一种将误差信号反向发送的方法，以教会模型中较低级别的神经元如何调整连接强度。他和辛顿表明，此类网络可以学习执行无法通过单层可修改连接解决的计算。
麦克莱兰指出：“其他人在大约同一时间开发了反向传播，但戴夫和杰夫对反向传播功能的演示引起了人们的共鸣。”
当时，鲁梅尔哈特使用反向传播算法，其网络具有极少量的输入单元，输入和输出之间只有一层单元，麦克莱兰说。相比之下，今天的模型可能有数千个中间层神经元，它们以相同的方式学习。
尽管反向传播算法非常优雅，但神经网络模型并没有立即流行起来。事实上，直到 25 年后，Hinton 和他的学生才利用李飞飞的 ImageNet 数据集（使用比 Rumelhart 所拥有的计算机强大几个数量级的计算机）来展示卷积神经网络对图像进行分类的惊人能力。“在此之前，训练足够深或具有足够训练数据的网络非常困难，”McClelland 说。
从大脑到人工智能再回到大脑
与此同时，麦克莱兰继续使用神经网络来模拟人类认知，并不断发现这些模型能够有效地捕捉人类实验的数据。他仍然对人类认知与计算机神经网络的相似之处和不同之处着迷。
“我们大脑中的神经网络使我们能够以连续的句子进行运作、说话和相互交流，这些神经网络显然在某些方面与这些人工智能系统相似。”
他说，如今的语言模型采用分布式表示法，并通过反向传播进行训练，在翻译方面也达到了与人类相似的流畅度。“它们能够以符号式、基于规则的系统无法做到的方式将一种语言翻译成另一种语言。”
此外，与之前的模型不同，依赖于所谓的转换器架构的大型语言模型表现出一种有趣的类似大脑的特征：它们可以在提供新信息时将信息保存在上下文中。“这些模型使用上下文中的信息，就好像它是某种悬而未决的东西——就像某人对你说的最后一句话一样，”麦克莱兰说。
这一发展激励麦克莱兰与谷歌 DeepMind 的合作者一起探索神经网络模型是否像人类一样，在拥有先前的背景知识时能够推理得更准确，而不是在被赋予需要符号逻辑的完全抽象主题时推理得更准确。
例如，人们很难回答“如果部分 A 是 B，且所有 B 都是 C，那么是否有 CA？”这样的问题。但如果在特定语境中使用熟悉的概念表述同一个问题（“如果部分奶牛是赫里福德牛，且所有赫里福德牛都是哺乳动物，那么是否有哺乳动物是奶牛？”），他们就更有可能给出正确答案。
“我们的研究发现，这些模型也是这样做的，”麦克莱兰说。“它们不是纯粹的逻辑机器。人类和模型都会将他们先前的知识和信念融入到他们的思维中。”他说，他们也倾向于事实真实或普遍相信的结论，即使这些结论并不遵循给定的前提。这些结果发表在2024 年的PNAS Nexus论文中。
他说：“这项研究有助于让其他人相信，人类的思维方式并不是严格的逻辑，而是更多地基于通过调整神经网络的连接强度而产生的直觉知识。”
尽管有这些相似之处，但麦克莱兰指出，它们之间还是存在差异。人类与机器之间的区别之一就是我们能够快速学习，而且只需要很少的数据。“这些语言模型需要的数据量大约是人类学习语言所需数据的 10 万倍。这可真是太多了！”他说。“因此，我们感兴趣的是了解生物大脑如何能够用比当今人工智能系统少得多的数据进行学习。”
鲁梅尔哈特的反向传播算法是问题的一部分：“这就是这些人工智能系统如此缓慢且需要如此多数据的原因，”他说。神经网络有几乎无数的连接，与人类相比，它们需要大量额外数据来确定哪些连接最重要。
例如，如果大型语言模型在预测句子中的最后一个单词（如“约翰喜欢加奶油和蜂蜜的咖啡”）时出现错误，它可能会学会总体上降低“糖”这个词出现的可能性，而不是认为只是约翰的品味不寻常。
麦克莱兰说：“所有这些连接都在进行微小的改变，以试图减少错误，但为了找出哪些是重要的，你必须加入许多训练句子，在这些句子中保持对糖的共同偏好——这是低效的。”
这也不是大脑的工作方式。“反向传播是解决计算问题的绝妙方法，”麦克莱兰说。“但没人认为它能准确反映大脑的工作方式。”麦克莱兰说，在反向传播中，网络在一个方向上被激活，错误会在同一网络中向后传播。
相比之下，在大脑中，激活本身是双向的，大脑的许多不同部分正在相互作用（包括多种感官同时感知世界），以提供对世界的综合感知体验。
麦克莱兰说，欣顿很清楚反向传播无法捕捉大脑的工作方式，他继续开发了其他几种更接近生物学可信度的算法。现在麦克莱兰正在以不同的方式承担同样的任务：重新研究动物和人类的神经元激活。
他说：“我受到启发，想要找到方法来理解我们的大脑如何如此有效地针对正确的连接进行调整。”
页:
[1]