教导法学硕士如何知道何时寻求帮助以提供更准确的答案

Josiah02

加州大学圣地亚哥分校的一组计算机科学家和人工智能研究人员与清华大学的一位同事合作，开发出一种策略，帮助 LLM 模型更轻松地确定何时需要外部来源的帮助来提供准确的答案。
该小组撰写了一篇论文描述他们的方法，名为“边学习边适应：通过智能工具的使用为解决科学问题的法学硕士 (LLM) 奠定基础”，并将其发布在arXiv预印本服务器上。
在 LLM 构建的早期，开发团队认为参数越大越好。他们认为使用的参数越多，得到的答案就越准确。最近，开发人员发现参数越大并不总是越好——有时可以通过添加其他功能或更改某些基本属性来使 LLM 更智能，从而更准确。
在这项新研究中，研究团队添加了一项功能，允许特定法学硕士使用内置安全检查来评估自己对答案的信心。研究人员发现，这种安全检查可以很简单，比如在解决问题之前添加分类，例如给定任务是容易还是困难。他们发现，这可以让规模小得多的法学硕士变得和规模大得多的法学硕士一样聪明，甚至更聪明。
为了使用新方法，该团队开发了两个学习阶段。第一个阶段称为“世界知识提炼”，其工作是使用外部工具学习解决方案。这样做有助于法学硕士积累特定主题的专业知识。第二个阶段称为“工具使用适应”，通过在没有帮助的情况下解决问题时的置信度对问题进行分类。
该系统允许解决较简单（但可信度较高）的问题，甚至无需检查是否需要外部帮助，从而减少总体资源需求。如果较困难的问题需要外部帮助，由于管理费用较低，因此可以更快地完成。
在仅具有 80 亿个参数的模型上对该系统进行测试，结果表明，与未进行任何更改的同类模型相比，该系统的答案准确率提高了 28.18%。此外，工具使用准确率也提高了 13.89%，因此，该团队指出，该系统的准确率要高得多。
研究人员表示，他们的新方法表明，更大并不总是更好，并且可以创建极其强大的 LLM，而无需大幅增加尺寸。