用于训练人工智能的电力高达 30% 被浪费：软件工具可以帮助解决这个问题

Josiah02

密歇根大学的一项新研究表明，一种训练大型语言模型（如 GPT 系列）的更省力的方法可以在相同的时间内完成，但能耗可降低 30%。
根据富国银行对人工智能电力需求的预测，这种方法可以节省足够的能源，到 2026 年为 110 万美国家庭供电。它还可以减少国际货币基金组织的预测，即到 2027 年，数据中心可能占全球碳排放量的 1.2%，以及随之而来的用水需求。
一些专家表示，这些成本可能被环境效益所抵消。他们认为，人工智能可以通过找到优化供应链和电网、管理我们的能源需求和改进气候变化研究的方法，成为应对气候变化的“游戏规则改变者” 。不过，这并不能成为浪费能源的借口，用于训练人工智能的部分电力对训练时间和模型准确性没有任何影响。
“如果没有意义，为什么要花这些钱？”计算机科学与工程副教授、上周一在第 30 届操作系统原理研讨会上发表的研究报告的通讯作者莫沙拉夫·乔杜里 (Mosharaf Chowdhury) 说。
“我们不能继续建造越来越大的数据中心，因为我们没有足够的电力来运行它们，”乔杜里说。“如果我们能够减少人工智能消耗的能源，我们就可以减少人工智能的碳足迹和冷却要求，并允许更多的计算以适应我们目前的能源限制。”
当 AI 训练在 GPU（专门用于大数据和图形应用的计算机处理器）之间分配不均时，就会产生能源浪费。虽然这会导致浪费，但分担工作对于处理庞大的数据集而言是必要的。
“如今的人工智能模型非常庞大，无法装入单个计算机处理器中，”计算机科学与工程博士生、这项研究的第一作者 Jae-Won Chung 表示。“它们需要被分成数万个处理器进行训练，但将模型分成所有处理器上完全相等的大小实际上是不可能的。”
训练任务很难均匀分配，因为有些任务需要在同一处理器上分组执行——就像将一个系列图书的每一部分放在一个有组织的书架上一样。根据任务的分组方式，有些处理器可能会被分配到相当于《大英百科全书》的 AI 训练版本，而另一些处理器则会被分配到一部奇幻三部曲。
由于当前的训练方法以最高速度运行每个处理器，因此负载较轻的处理器将先于其他处理器完成计算。这不会加快训练速度，因为训练只有在每个处理器完成其工作后才算完成——但这很浪费，因为更快的计算需要更多的能量。此外，硬件故障或网络延迟等问题会降低单个处理器的计算速度，从而造成能源浪费。
为了节省能源，研究人员开发了一款名为 Perseus 的软件工具 ，它可以识别关键路径，即需要最长时间才能完成的一系列子任务。然后，Perseus 会降低非关键路径上的处理器速度，以便它们都能在同一时间完成工作，从而消除不必要的功耗。
“降低人工智能的电力成本对于公平使用人工智能具有重要意义，”乔杜里说。“如果一个国家没有足够的电力来运行大型模型，他们可能需要使用远程服务，或者只能运行较小、准确度较低的模型。这种差距可能会进一步加剧不同社区之间的差距。”
该团队通过训练 GPT-3、其他三个大型语言模型和一个计算机视觉模型来测试 Perseus 。
Perseus 是一个开源工具，是Zeus的一部分，Zeus 是一个用于测量和优化 AI 能耗的工具。