克服“灾难性遗忘”：受大脑启发的算法允许神经网络保留知识

Josiah02 · 发表于 2024-10-11 16:34:20

神经网络在学习特定任务方面具有非凡的能力，例如识别手写数字。然而，这些模型在学习额外任务时经常会经历“灾难性遗忘”：它们可以成功学习新任务，但“忘记”如何完成原始任务。因此，对于许多人工神经网络（例如引导自动驾驶汽车的神经网络）而言，学习额外任务需要完全重新编程。
另一方面，生物学的大脑非常灵活。
受到人类和动物大脑灵活性的启发，加州理工学院的研究人员现在开发了一种新型算法，该算法使神经网络能够不断更新新数据，从而可以从中学习，而无需从头开始。这种算法称为功能不变路径 (FIP) 算法，具有广泛的应用，从改进在线商店的推荐到微调自动驾驶汽车。
该算法是在计算生物学助理教授兼 Heritage 医学研究所 (HMRI) 研究员 Matt Thomson 的实验室中开发的。这项研究发表在《自然机器智能》杂志上的一项新研究中。
汤姆森和前研究生古鲁·拉加万博士受到加州理工学院神经科学研究的启发，尤其是生物学研究教授卡洛斯·路易斯实验室的研究。路易斯研究鸟类在脑损伤后如何重新连接大脑，重新学会唱歌。人类也可以做到这一点；例如，中风后脑损伤的人通常可以建立新的神经连接，重新学习日常功能。
汤姆森说：“这是一个多年的项目，始于大脑如何灵活地学习的基础科学。
该团队利用一种名为微分几何的数学技术开发了 FIP 算法。该框架允许修改神经网络而不会丢失先前编码的信息。
2022 年，在加州理工学院驻地企业家 Julie Schoenfeld 的指导下，Raghavan 和 Thomson 创办了一家名为 Yurts 的公司，以进一步开发 FIP 算法并大规模部署机器学习系统来解决许多不同的问题。Raghavan 与行业专家 Ben Van Roo 和 Jason Schnitzer 共同创立了 Yurts。
Raghavan 是这项研究的第一作者。除了 Raghavan 和 Thomson，加州理工学院的合著者还有研究生 Surya Narayanan Hari 和 Shichen Rex Liu，以及合作者 Dhruvil Satani。埃及亚历山大大学的 Bahey Tharwat 也是合著者。Thomson 是加州理工学院陈天桥和雒芊芊神经科学研究所的附属教员。

账号		自动登录	找回密码
密码			立即注册