模拟学习方法：机器学习自动化的一种方法

Josiah02

作为人工智能的基础技术，现有的机器学习（ML）方法往往依赖于大量的人工干预和手动预设，例如手动收集、选择和注释数据，手动构建深度神经网络的基本架构，确定优化算法的算法类型及其超参数等。这些限制阻碍了ML有效处理现实世界中复杂数据和多任务环境的能力。
为了解决当前机器学习中存在的这些挑战，西安交通大学的研究团队开发了一种名为模拟学习方法 (SLeM) 的新方法。SLeM 的核心概念是模拟和提取传统上由人类设定的机器学习学习方法，将其转化为自动化的学习过程。本质上，SLeM 框架代表了一种 ML for ML 范式，其中使用 ML 工具来设计和优化 ML 的基本组件。
该团队基于SLeM框架开发了一系列ML自动化算法，证明了其在增强现有ML方法的自适应学习能力方面的有效性。
“最近，已经提出了许多 AutoML 方法来实现 ML 自动化。然而，大多数现有的 AutoML 方法本质上都是启发式的，因此很难建立坚实的理论基础。相比之下，SLeM 框架为 ML 自动化提供了统一的数学公式，并为SLeM 的任务转移泛化能力提供了理论见解，”本文的主要作者、中国科学院院士徐宗本教授说。
高级大型语言模型 (LLM) 的开发已成为人工智能的基石，大大扩展了解决各种应用和任务的能力。然而，机器学习社区尚未充分解决 LLM 出色的任务泛化能力的底层理论证据。新颖的 SLeM 方法为推进对大型语言模型 (LLM) 中任务泛化能力的研究和理解提供了一个有前途的视角和工具。
更多信息： Zongben Xu 等人，模拟学习方法 (SLeM)：一种机器学习自动化方法，国家科学评论(2024)。DOI ：10.1093/nsr/nwae277