为什么对法学硕士培训后的知识进行编辑会产生混乱的连锁反应

Josiah02

　　在 Open AI 开发的现成模型 ChatGPT 问世后，大型语言模型 (LLM) 变得越来越普遍，许多在线用户每天都会访问它们，以快速获得查询的答案、源信息或生成自定义文本。尽管这些模型能够快速定义单词并生成与用户查询相关的书面文本，但它们给出的答案并不总是准确可靠的。
　　此外，全球可用的知识在不断发展。因此，这些模型有时会报告在训练期间输入的过时信息，而不是训练后发布的其他相关最新信息。为了克服 LLM 的这一局限性并提高答案的可靠性，一些计算机科学家一直在探索在完成训练后编辑知识库的可能性。
　　这些知识编辑 (KE) 干预措施应影响法学硕士 (LLM) 产生的所有内容，从而产生连锁反应。这意味着模型关于给定主题的所有未来答案都应反映其知识被改变后获得的有关该主题的新信息。
　　不幸的是，研究表明，这些连锁反应并不总是会发生。从本质上讲，这意味着，虽然模型可能能够正确回答有关改变信息的直接问题，但它可能不会在它生成的所有答案中包含它获得的新知识，包括那些间接涉及新信息的答案。
　　伊利诺伊大学厄巴纳-香槟分校的研究人员最近开始更好地了解 LLM 知识编辑后成功实现连锁反应的背后过程。他们的论文发表在arXiv预印本服务器上，可以为未来更新这些广泛使用的模型的知识提供参考，从而有助于在训练后改进这些模型。
　　Jiaxin Qin、Zixuan Zhang 及其同事在论文中写道：“之前大量的研究都集中在语言模型 (LM) 的训练后知识编辑 (KE) 上，以确保知识保持准确和最新。KE 中的一个期望属性和未解决的问题是让编辑后的 ​​LM 正确处理连锁反应，其中 LM 有望准确回答其逻辑相关的知识。在本文中，我们回答了为什么大多数 KE 方法仍然会产生混乱的连锁反应的问题。”
　　这项最新研究背后的关键假设是，LLM 参数中知识的存储会影响 KE 干预产生预期连锁反应的程度。研究人员在论文中确定了一个因素，该因素可以表明在 LLM 知识发生改变后，更新的事实对 LLM 产生的反应产生连锁反应的可能性有多大。
　　研究人员将这一因素称为 GradSim，本质上是相关知识事实梯度之间的余弦相似度。通过进行一系列测试，该团队证明该指标与知识交流干预后的连锁反应密切相关。
　　研究人员写道：“我们进行了广泛的分析，并确定了一个显著的指标，即 GradSim，它有效地揭示了更新的知识在语言模型中何时以及为何产生连锁反应。”“GradSim 是通过原始事实与其相关知识的梯度之间的余弦相似度计算得出的。我们观察到，在不同的语言模型、知识工程方法和评估指标中，连锁反应性能与 GradSim 之间存在很强的正相关性。对连锁反应的三种反直觉失败案例（否定、过度连锁、多语言）的进一步研究表明，这些失败通常与非常低的 GradSim 有关。”
　　秦、张和他们的同事最近进行的这项研究描述了一个关键因素，该因素可能有助于预测编辑法学硕士的知识将对其未来反应产生多大程度的影响。该团队的研究结果可能很快会为旨在有效更新法学硕士培训完成后的知识的新举措提供参考。