第一个无需传统计算机处理器即可学习非线性任务的物理系统

Josiah02

　　科学家在尝试构建和扩展能够进行机器学习的类脑系统时遇到了很多权衡。例如，人工神经网络能够学习复杂的语言和视觉任务，但训练计算机执行这些任务的过程很慢，而且需要很大的功率。
　　训练机器以数字方式学习但以模拟方式执行任务（即输入随电压等物理量而变化）可以减少时间和功率，但小错误可能会迅速累积。
　　宾夕法尼亚大学物理与工程研究人员之前设计的电网络具有更强的可扩展性，因为随着系统规模的扩大，误差不会以同样的方式累积。但它也受到了严重的限制，因为它只能学习线性任务，即输入和输出之间具有简单关系的任务。
　　现在，研究人员创建了一个模拟系统，该系统速度快、功耗低、可扩展，能够学习更复杂的任务，包括“异或”关系 (XOR) 和非线性回归。这被称为对比局部学习网络；组件根据局部规则自行演化，而无需了解更大的结构。
　　物理学教授道格拉斯·J·杜里安 (Douglas J. Durian) 将其比作人类大脑中的神经元不知道其他神经元在做什么但仍然会产生学习行为的情况。
　　榴莲研究小组的博士后物理学家 Sam Dillavou 说道：“从机器学习的角度来看，它可以学习执行有用的任务，类似于计算神经网络，但它是一个物理对象。”他也是《美国国家科学院院刊》上发表的有关该系统的论文的第一作者。
　　“让我们感到兴奋的一件事是，由于它不了解网络结构，所以它对错误的容忍度很高，而且能够以不同的方式制造，非常稳健，我们认为这为扩大这些产品的规模开辟了很多机会，”工程学教授马克·Z·米斯金说。
　　物理学教授 Andrea J. Liu 表示：“我认为这是一个理想的模型系统，我们可以研究它以深入了解各种问题，包括生物问题。”她还表示，它还有助于与收集需要处理的数据的设备（如摄像机和麦克风）进行交互。
　　在论文中，作者表示，他们的自学系统“为研究新兴学习提供了独特的机会。与包括大脑在内的生物系统相比，我们的系统依赖于更简单、更易于理解的动力学，可精确训练，并使用简单的模块化组件。”
　　这项研究基于刘和博士后梅纳赫姆 (Nachi) 斯特恩设计的耦合学习框架，他们于 2021 年发表了他们的研究成果。在这个范式中，一个不是为完成某项任务而设计的物理系统会适应应用的输入来学习任务，同时使用本地学习规则，不使用中央处理器。
　　迪拉沃表示，他专程为了这个项目来到宾夕法尼亚大学，致力于将该框架从模拟工作转化为当前的物理设计工作，从而可以使用标准电路元件来实现。
　　“这件事最疯狂的部分之一是，它真的在自我学习；我们只是让它运行起来，”迪拉沃说。研究人员只输入电压作为输入，然后连接节点的晶体管根据耦合学习规则更新其属性。
　　“由于它的计算和学习方式都是基于物理学的，因此更容易解释，”米斯金说。“你可以真正弄清楚它想要做什么，因为你对底层机制有很好的把握。这有点独特，因为许多其他学习系统都是黑匣子，很难知道网络为什么会这样做。”
　　杜里安表示，他希望这“是一个巨大领域的开始”，并指出他实验室的另一位博士后劳伦·奥特曼 (Lauren Altman) 正在构建对比局部学习网络的机械版本。
　　研究人员目前正在致力于扩大设计规模，刘表示，关于记忆存储的持续时间、噪声的影响、网络的最佳架构以及是否存在更好的非线性形式，还有很多问题。
　　米斯金说：“我们并不清楚随着学习系统规模的扩大，会发生什么变化。”
　　“如果你考虑一下大脑，你会发现，拥有 300 个神经元的蠕虫和人类之间存在巨大差异，而且这些能力从何而来、随着规模扩大，情况如何变化并不明显。拥有一个可以不断变大的物理系统是一个真正研究它的机会。”