大型语言模型中涌现的能力仅仅是上下文学习吗？
根据达姆施塔特工业大学领导的一项新研究，ChatGPT 等人工智能模型的独立学习能力显然比之前假设的要低。根据这项研究，没有证据表明所谓的大型语言模型（LLM）开始发展出一般的“智能”行为，使它们能够以有计划或直观的方式进行，或者以复杂的方式思考。
该项研究已在arXiv预印本服务器上发表，并将于 8 月在曼谷举行的计算语言学协会 (ACL) 年会上发表，该协会是最大的自动语言处理国际会议。
这项研究的重点是语言模型性能的意外和突然飞跃，这被称为“突发能力”。在引入这些模型后，科学家发现，随着模型规模的扩大和用于训练的数据量的增加（扩展），它们的功能会变得更加强大。
随着这些工具的规模不断扩大，它们能够解决大量基于语言的任务——例如识别虚假新闻或得出合乎逻辑的结论。
一方面，这让人们希望进一步扩大规模，让模型变得更好。另一方面，人们也担心这些能力可能会变得危险，因为法学硕士可能会变得独立，甚至可能摆脱人类的控制。作为回应，世界各地都出台了人工智能法律，包括欧盟和美国。
然而，本研究的作者现在得出的结论是，没有证据表明模型中存在假定的差异化思维发展。相反，正如研究人员所表明的那样，法学硕士掌握了遵循相对简单指令的肤浅技能。这些系统距离人类的能力还相去甚远。
这项研究由慕尼黑工业大学计算机科学教授 Iryna Gurevych 和她的同事、英国巴斯大学的 Harish Tayyar Madabushi 博士领导。
“然而，我们的研究结果并不意味着人工智能根本不构成威胁，”古列维奇说。
“相反，我们表明，所谓与特定威胁相关的复杂思维技能的出现并没有证据支持，而且我们毕竟可以很好地控制法学硕士的学习过程。因此，未来的研究应该关注这些模型带来的其他风险，比如它们可能被用来制造虚假新闻。”
那么，这些结果对于 ChatGPT 等 AI 系统的用户来说意味着什么呢？“依靠 AI 模型来解释和执行复杂的任务，而不需要任何帮助，这可能是一个错误，”达姆施塔特工业大学计算机科学系普适知识处理 (UKP) 实验室负责人 Gurevych 解释道。
“相反，用户应该明确说明系统应该做什么，如果可能的话，给出一些例子。重要的是：这些模型产生看似合理但实际错误的结果（称为虚构）的趋势可能会持续存在，即使模型的质量近年来有了显著提高。”
更多信息： Sheng Lu 等人，大型语言模型中的新兴能力仅仅是情境学习吗？，arXiv (2023)。DOI ：10.48550/arxiv.2309.01809
期刊信息： arXiv
页:
[1]