研究团队提出解决人工智能持续学习问题的方法

Josiah02

阿尔伯塔机器智能研究所 (Amii) 的一组研究人员揭示了有关机器学习中一个神秘问题的更多信息——这一发现可能是构建能够在现实世界中有效运作的先进人工智能的重要一步。
这篇题为《深度持续学习中的可塑性丧失》的论文发表在《自然》杂志上。作者包括 Shibhansh Dohare、J. Fernando Hernandez-Garcia、Qingfeng Lan、Parash Rahman，以及 Amii 研究员兼加拿大 CIFAR AI 主席 A. Rupam Mahmood 和 Richard S. Sutton。
该团队在论文中探讨了一个长期以来深度学习模型中被怀疑存在但并未受到太多关注的棘手问题：由于某种原因，许多从事持续学习的深度学习代理失去了学习能力，并且其性能急剧下降。
“我们已经确定，当前的深度学习肯定存在问题，”马哈茂德说。“当你需要不断适应时，我们已经证明深度学习最终会失效。所以你无法有效地继续学习。”
他指出，人工智能代理不仅失去了学习新事物的能力，而且在忘记之前学到的东西后也无法重新学习。研究人员将这种现象称为“可塑性丧失”，借用神经科学术语，可塑性是指大脑适应其结构并形成新的神经连接的能力。
深度学习的现状
研究人员表示，可塑性的丧失是开发能够有效处理世界复杂性的人工智能面临的一大挑战，需要解决这个问题才能开发出人类水平的人工智能。
许多现有模型并非为持续学习而设计的。Sutton 以 ChatGPT 为例，它不会持续学习。相反，它的创建者会训练模型一段时间。训练结束后，模型便会立即部署，无需进一步学习。
即使采用这种方法，将新旧数据合并到模型的内存中也可能很困难。大多数情况下，更有效的做法是从头开始，擦除内存，然后重新对模型进行训练。对于像 ChatGPT 这样的大型模型，这个过程每次都可能花费大量时间，花费数百万美元。
这也限制了模型可以做的事情。对于瞬息万变的快速发展环境，例如金融市场，萨顿说，持续学习是必要的。
隐藏在显而易见的地方
研究团队表示，解决可塑性丧失的第一步是表明它确实存在，而且很重要。这个问题“隐藏在显而易见的地方”——有迹象表明，可塑性丧失可能是深度学习中普遍存在的问题，但很少有研究对此进行实际调查。
拉赫曼说，他最初对探索这个问题产生兴趣是因为他不断看到这个问题的迹象——这让他很感兴趣。
“我读过一篇论文，你会在附录中看到一些关于绩效如何下降的内容。然后你会在一段时间后的另一篇论文中看到它，”他说。
研究团队设计了几个实验来寻找深度学习系统中可塑性的丧失。在监督学习中，他们按照分类任务的顺序训练网络。例如，网络在第一个任务中学会区分猫和狗，然后在第二个任务中学会区分海狸和鹅，依此类推。他们假设，随着网络失去学习能力，其区分能力在随后的每个任务中都会下降。
事实也确实如此。
“我们使用了几个不同的数据集进行测试，以表明它可以广泛传播。这确实表明它并不是只发生在深度学习的一个小角落里，”萨顿说。
处理死者
问题确定之后，研究人员不得不问：这个问题能解决吗？可塑性的丧失是持续深度学习网络的固有问题吗？还是有办法让它们继续学习？
他们在一种基于修改神经网络工作的基本算法之一——反向传播的方法中找到了希望。
神经网络的构建与人脑的结构相似：它们包含能够传递信息并与其他单元建立联系的单元，就像神经元一样。单个单元可以将信息传递给其他单元层，这些单元也执行相同的操作。所有这些都有助于网络的整体输出。
然而，当使用反向传播调整网络的连接强度或“权重”时，很多时候这些单元会计算出实际上对学习没有贡献的输出。它们也不会学习新的输出，因此它们将成为网络的负担，并停止对学习过程做出贡献。
马哈茂德指出，经过长期的持续学习，网络中多达 90% 的单元可能会死亡。当足够多的单元停止贡献时，模型就会失去可塑性。
因此，该团队提出了一种改进的方法，他们称之为“持续反向传播”。
Dohare 表示，它与反向传播的一个关键区别在于：反向传播仅在开始时随机初始化单元，而连续反向传播则持续这样做。在学习过程中，它会偶尔选择一些无用的单元（例如死单元），并用随机权重重新初始化它们。通过使用连续反向传播，他们发现模型可以持续学习更长时间，有时似乎是无限的。
萨顿表示，其他研究人员可能会想出更好的解决方案来解决可塑性丧失问题，但他们的持续反向传播方法至少表明这个问题是可以解决的，而且这个棘手的问题并不是深度网络所固有的。
他希望团队的工作能够引起人们对可塑性丧失的更多关注，并鼓励其他研究人员研究这个问题。
“我们以一种人们不得不承认的方式提出了这个问题。这个领域正逐渐更愿意承认，尽管深度学习取得了成功，但它仍存在一些需要解决的基本问题，”他说。“所以，我们希望这能稍微揭开这个问题的面纱。”