Josiah02 发表于 2024-7-15 08:17:37

由光构成的神经网络可以使机器学习更加可持续

  科学家提出了一种利用光学系统实现神经网络的新方法,这种方法可以使机器学习在未来更具可持续性。马克斯普朗克光科学研究所的研究人员在《自然物理学》上发表了他们的新方法,展示了一种比以前的方法简单得多的方法。
  机器学习和人工智能正变得越来越普遍,其应用范围从计算机视觉到文本生成,正如 ChatGPT 所展示的那样。然而,这些复杂的任务需要越来越复杂的神经网络;有些神经网络有数十亿个参数。
  神经网络规模的快速增长导致这些技术走上了不可持续的道路,因为它们的能耗和训练时间呈指数级增长。例如,据估计,训练 GPT-3 消耗了超过 1,000 兆瓦时的能源,相当于一个小镇一天的用电量。
  这一趋势催生了对速度更快、更节能、更经济的替代方案的需求,从而引发了神经形态计算领域的快速发展。该领域的目标是用物理神经网络取代数字计算机上的神经网络。这些神经网络经过精心设计,可以以更快、更节能的方式物理地执行所需的数学运算。
  光学和光子学是神经形态计算特别有前途的平台,因为可以将能耗保持在最低水平。计算可以以非常高的速度并行执行,仅受光速的限制。然而,到目前为止,存在两个重大挑战:首先,实现必要的复杂数学计算需要很高的激光功率。其次,缺乏针对此类物理神经网络的有效通用训练方法。
  具有线性波传播的完全非线性神经形态系统。
  马克斯普朗克光科学研究所的 Clara Wanjura 和 Florian Marquardt 在《自然物理学》杂志上发表的新文章中提出了一种新方法,可以克服这两个挑战。“通常,数据输入会印在光场上。然而,在我们的新方法中,我们建议通过改变光传输来印记输入,”该研究所所长 Marquardt 解释说。
  这样,输入信号就可以以任意方式处理。即使光场本身以最简单的方式运行,即波干涉而不会相互影响,情况也是如此。因此,他们的方法可以避免复杂的物理相互作用,从而实现所需的数学函数,否则需要高功率的光场。
  评估和训练这个物理神经网络将变得非常简单。“这真的就像通过系统发送光线并观察传输的光一样简单。这让我们可以评估网络的输出。同时,这让我们可以测量训练的所有相关信息,”这项研究的第一作者 Wanjura 说。
  作者在模拟中证明,他们的方法可以用来执行图像分类任务,并且具有与数字神经网络相同的准确度。
  未来,作者计划与实验小组合作,探索他们的方法的实施。由于他们的提议大大放宽了实验要求,因此可以应用于许多物理上非常不同的系统。这为神经形态设备开辟了新的可能性,允许在广泛的平台上进行身体训练。

页: [1]
查看完整版本: 由光构成的神经网络可以使机器学习更加可持续