物理学的一个分支如何推动人工智能的突破，并由此获得今年的诺贝尔奖

Josiah02

2024 年 10 月 8 日，约翰·J·霍普菲尔德和杰弗里·E·辛顿因在帮助计算机学习的机器学习算法和神经网络方面的研究而获得诺贝尔物理学奖。他们的工作对于开发支撑生成人工智能的神经网络理论至关重要。
神经网络是一种由多层相互连接的神经元组成的计算模型。就像大脑中的神经元一样，这些神经元会处理并传递一条信息。每个神经层都会接收一条数据，对其进行处理并将结果传递到下一层。在序列结束时，网络已将数据处理并提炼为更有用的东西。
霍普菲尔德和辛顿因其在计算机科学领域中的神经网络贡献而获得物理学奖，这似乎令人惊讶，但他们的工作深深植根于物理学原理，特别是统计力学这一子领域。
作为一名计算材料科学家，我很高兴看到这一研究领域获得奖项认可。Hopfield 和 Hinton 的工作使我和我的同事能够研究一种称为材料科学生成学习的过程，这种方法是 ChatGPT 等许多流行技术背后的方法。
什么是统计力学？
统计力学是物理学的一个分支，它使用统计方法来解释由大量粒子组成的系统的行为。
研究人员利用统计力学研究许多粒子的集体行为，而不是关注单个粒子。了解它们如何共同作用有助于研究人员了解系统的大规模宏观特性，如温度、压力和磁化。
例如，物理学家恩斯特·伊辛在 20 世纪 20 年代开发了磁性的统计力学模型。伊辛将磁性想象为原子自旋与相邻原子相互作用的集体行为。
在伊辛模型中，系统存在较高和较低的能态，物质更可能存在于最低能态。
统计力学中的一个关键概念是玻尔兹曼分布，它量化了给定状态的可能性。该分布根据系统的能量和温度描述系统处于特定状态（如固体、液体或气体）的概率。
伊辛利用玻尔兹曼分布精确预测了磁体的相变。他计算出了材料从磁性变为非磁性的温度。
相变发生在可预测的温度下。冰在特定温度下融化成水，因为玻尔兹曼分布预测当温度升高时，水分子更有可能呈现无序状态或液态。
在材料中，原子排列成特定的晶体结构，消耗的能量最少。天气寒冷时，水分子会冻结成能量状态较低的冰晶。
类似地，在生物学中，蛋白质折叠成低能量形状，使它们能够发挥特定抗体的作用——就像锁和钥匙一样——针对病毒。
神经网络和统计力学
从根本上讲，所有神经网络都遵循类似的原理，即最小化能量。神经网络利用这一原理来解决计算问题。
例如，想象一幅由像素组成的图像，你只能看到图片的一部分。一些像素是可见的，而其余的像素是隐藏的。要确定图像是什么，你需要考虑隐藏像素与可见部分拼合的所有可能方式。然后，你会从统计力学认为的所有可能选项中最可能的状态中进行选择。
Hopfield 和 Hinton 基于统计力学的思想开发了神经网络理论。就像之前的 Ising 一样，他们通过模拟原子自旋的集体相互作用来解决神经网络的照片问题，Hopfield 和 Hinton 设想了像素的集体相互作用。他们将这些像素表示为神经元。
就像统计物理学一样，图像的能量指的是特定像素配置的可能性。Hopfield网络将通过找到隐藏像素的最低能量排列来解决此问题。
然而，与统计力学（能量由已知的原子相互作用决定）不同，神经网络从数据中学习这些能量。
辛顿推广了一种名为反向传播的技术。该技术可帮助模型找出这些神经元之间的相互作用能量，该算法支撑了现代人工智能学习的大部分内容。
玻尔兹曼机
在霍普菲尔德工作的基础上，辛顿设想了另一个神经网络，称为玻尔兹曼机。它由可见神经元（我们可以观察到）和隐藏神经元（帮助网络学习复杂模式）组成。
在玻尔兹曼机中，你可以确定图片以某种方式呈现的概率。要计算出这个概率，你可以将隐藏像素可能处于的所有状态相加。这样就可以得到可见像素处于特定排列的总概率。
我的研究小组致力于在量子计算机中实现玻尔兹曼机以进行生成学习。
在生成学习中，网络会学习生成新的数据样本，这些样本与研究人员输入网络进行训练时的数据相似。例如，在对类似图像进行训练后，网络可能会生成新的手写数字图像。网络可以通过从学习到的概率分布中采样来生成这些图像。
生成学习是现代人工智能的基础——它使得人工智能艺术、视频和文本的生成成为可能。
霍普菲尔德和辛顿利用统计物理学的工具对人工智能研究产生了重大影响。他们的工作将自然界如何决定材料的物理状态与神经网络如何预测复杂计算机科学问题的解决方案的可能性进行了类比。