研究人员开发出新方法，使法学硕士能够更简洁、准确地回答问题

Josiah02

大型语言模型 (LLM) 是旨在理解和生成人类语言的机器学习模型。最先进的 LLM 在开放域问答 (ODQA) 中展现出了卓越的潜力，该模型的任务是提供事实问题的答案。
这在金融、医疗保健和教育等领域尤其有用。然而，法学硕士通常依靠他们预先训练过的知识来回答在不断变化的世界中可能过时的问题。
可以通过使用带有预训练 LLM 的检索增强生成 (RAG) 来解决此限制。在这种方法中，问题会使用知识库中的文档进行增强。尽管取得了这些进步，但 LLM 通常会生成冗长的响应，提供上下文信息，这会使识别准确的答案短语变得困难且耗时。
LLM 的另一个重要方面是它们能够生成置信度分数，这反映了模型对其答案的正确性的确定程度。这些分数在金融、法律和医疗保健等高风险领域尤其重要。虽然 LLM 可以为特定响应生成序列概率，但这种概率在校准方面通常不可靠。
这意味着预测的置信度可能与正确性概率不准确相关，不应用作置信度分数。无法识别准确的答案短语并产生可靠的置信度分数限制了 LLM 的实际应用。
为了解决这些限制，日本先端科学技术大学院大学的一个研究小组在 Nguyen Le Minh 教授的带领下，包括博士生 Nguyen-Khang Le 和 Dieu-Hien Nguyen 在内的研究人员提出了一种名为答案前缀生成 (ANSPRE) 的新方法。
“ANSPRE 可以提高 LLM 的生成质量，使其能够输出准确的答案短语，并产生可靠的置信度分数。此外，它可以融入任何 LLM 和复杂架构中，”Nguyen 教授说。他们的研究将在10 月 19 日至 24 日在西班牙圣地亚哥德孔波斯特拉举行的第 27 届欧洲人工智能大会ECAI-2024上发表。
ANSPRE 的主要思想是将一系列文本添加到 LLM 提示中，以引导出答案短语。这一系列文本称为“答案前缀”。
Nguyen 教授解释道：“考虑这样一个示例问题：‘第一次世界大战期间流行的需要两枚硬币才能玩的赌博游戏是什么？’这个问题的答案前缀可以是‘第一次世界大战期间流行的需要两枚硬币才能玩的赌博游戏是 ___。’由于大多数法学硕士都接受过因果语言模型的训练，因此使用答案前缀可以让法学硕士生成准确的答案短语来代替空白。”
给定一个问题，ANSPRE 首先使用选定的少样本示例生成答案前缀。研究人员证明，只需几个手工制作的示例就足以生成高质量的答案前缀。然后，ANSPRE 使用现有的检索器从知识库中收集相关文档，类似于 RAG。
它将文档、问题和答案前缀结合起来，并提示 LLM 生成答案短语。最后，ANSPRE 汇总用于回答问题的不同文档中的答案短语和置信度分数，以生成最终答案。
研究人员通过构建自反思答案前缀生成（SELF-ANSPRE）展示了 ANSPRE 的多功能性，该生成将 ANSPRE 与自反思 RAG（SEFT-RAG）相结合。
SEFT-RAG 通过引入反射标记来决定何时以及从知识库中检索什么，并根据文档和答案的实用性对响应进行排名，从而改进了 LLM 生成。在 SELF-ANSPRE 中，ANSPRE 的置信度分数和反射标记的分数相结合，以生成最终的排名分数。
研究人员在三个 ODQA 基准和各种 LLM 架构上测试了 ANSPRE。结果表明，ANSPRE 显著改善了预训练和指令调整的 LLMS，产生了与正确性高度相关的高质量答案和置信度分数。此外，SELF-ANSPRE 显著增强了 SEFT-RAG。他们的分析还强调了每个 ANSPRE 组件的重要性。
“我们的方法可以在医疗诊断、法律援助和教育等关键领域提供更简洁、更准确的问题解答，并改善客户支持。此外，从长远来看，我们的研究可以通过提高对人工智能系统的信任来促进人类与人工智能的广泛合作，”阮教授说。
总体而言，这种创新方法标志着法学硕士向前迈出了重要一步，并可以使其得到更广泛的应用，即使在敏感领域也是如此。