研究表明，循环神经网络中的灵活多任务计算依赖于动态主题

Josiah02

认知灵活性，即在不同想法和心理概念之间快速切换的能力，是人类非常有利的能力。这种突出的能力支持多任务处理、快速获取新技能和适应新情况。
尽管人工智能(AI) 系统在过去几十年中变得越来越先进，但它们目前在学习新技能和在任务之间切换方面还不具备与人类相同的灵活性。更好地了解生物神经回路如何支持认知灵活性，特别是它们如何支持多任务处理，可以为未来开发更灵活的人工智能提供参考。
最近，一些计算机科学家和神经科学家一直在研究使用人工神经网络进行神经计算。然而，这些网络大多经过训练，可以单独处理特定任务，而不是处理多项任务。
2019年，纽约大学、哥伦比亚大学和斯坦福大学的一个研究小组训练了一个神经网络来执行20项相关任务。
在《自然神经科学》杂志上发表的一篇新论文中，斯坦福大学的一个研究小组着手研究是什么让这个神经网络能够执行模块化计算，从而解决几项不同的任务。
“灵活的计算是智能行为的标志，”Laura N. Driscoll、Krishna Shenoy 和 David Sussillo 在他们的论文中写道。“然而，人们对神经网络如何根据不同的计算进行上下文重构知之甚少。在这项研究中，我们通过研究多任务人工循环神经网络，确定了模块化计算的算法神经基础。”
Driscoll、Shenoy 和 Sussillo 的最新研究的主要目标是调查循环连接的人工神经网络计算背后的机制。他们的努力使研究人员能够确定这些网络的计算基础，从而实现模块化计算，他们用“动态基序”一词来描述这种基础。
Driscoll、Shenoy 和 Sussillo 写道：“动态系统分析揭示了学习到的计算策略，这些策略反映了训练任务集的模块化子任务结构。动态基序是通过动态实现特定计算的神经活动重复模式，例如吸引子、决策边界和旋转，这些基序在任务之间重复使用。例如，需要记忆连续循环变量的任务重新利用了相同的环形吸引子。”
研究人员进行了一系列分析，发现在卷积神经网络中，当单元激活函数被限制为正时，所谓的动态基序由单元簇实现。此外，这些单元的损伤会对网络执行模块化计算的能力产生不利影响。
Driscoll、Shenoy 和 Sussillo 写道：“在初始学习阶段之后，主题被重新配置为快速迁移学习。”“这项研究将动态主题确立为组合计算的基本单位，介于神经元和网络之间。由于全脑研究同时记录来自多个专门系统的活动，动态主题框架将指导有关专业化和泛化的问题。”
总体而言，该研究团队最近的研究确定了卷积神经网络的底层，该底层极大地提高了神经网络有效处理多项任务的能力。未来，这项研究的成果可以为神经科学和计算机科学研究提供参考，有可能提高人们对认知灵活性背后的神经过程的理解，并为开发在人工神经网络中模拟这些过程的新策略提供参考。
更多信息： Laura N. Driscoll 等人，循环网络中灵活的多任务计算利用共享的动态模式，《自然神经科学》（2024 年）。DOI ：10.1038/s41593-024-01668-6
期刊信息： Nature Neuroscience