研究人员为欧盟人工智能法案提供法学硕士基准测试套件

Josiah02

苏黎世联邦理工学院、保加利亚人工智能研究机构 INSAIT（与苏黎世联邦理工学院和洛桑联邦理工学院合作创建）以及苏黎世联邦理工学院衍生公司 LatticeFlow AI 的研究人员首次对欧盟人工智能法案的通用人工智能 (GPAI) 模型进行了全面的技术解读。这使他们成为首批将欧盟对未来人工智能模型的法律要求转化为具体、可衡量和可验证的技术要求的机构。
这种转换对于欧盟人工智能法案的进一步实施过程非常重要：研究人员为模型开发人员提供了一种实用的方法，以了解他们与未来欧盟法律要求的一致性。这种从监管高层要求到实际可运行基准的转换迄今为止尚不存在，因此可以作为模型训练以及目前正在制定的欧盟人工智能法案实践准则的重要参考点。
研究人员在 12 种流行的生成式 AI 模型（如 ChatGPT、Llama、Claude 或 Mistral）上测试了他们的方法——毕竟，这些大型语言模型(LLM) 对人工智能 (AI) 在日常生活中日益普及和分布做出了巨大贡献，因为它们功能强大且使用直观。
随着这些和其他人工智能模型的传播越来越广泛，对负责任地使用人工智能的道德和法律要求也在不断提高：例如，关于数据保护、隐私保护和人工智能模型透明度的敏感问题也随之出现。模型不应该是“黑匣子”，而应该提供尽可能可解释和可追溯的结果。
人工智能法案的实施必须在技术上明确
此外，它们应该公平运作，不应歧视任何人。在此背景下，欧盟于 2024 年 3 月通过的《欧盟人工智能法案》是世界上第一个全面寻求最大限度地提高公众对这些技术的信任并最大限度地降低其不良风险和副作用的人工智能立法方案。
“《欧盟人工智能法案》是朝着开发负责任和值得信赖的人工智能迈出的重要一步”，ETH 计算机科学教授、安全、可靠和智能系统实验室负责人兼 INSAIT 创始人 Martin Vechev 表示，“但到目前为止，我们缺乏对《欧盟人工智能法案》高级法律要求的清晰而准确的技术解释。
“这使得开发符合法律规定的人工智能模型和评估这些模型实际符合立法的程度都变得困难。”
欧盟《人工智能法案》制定了明确的法律框架，以遏制所谓的通用人工智能 (GPAI) 的风险。这指的是能够执行广泛任务的人工智能模型。然而，该法案并没有具体说明如何从技术上解释广泛的法律要求。在 2026 年 8 月高风险人工智能模型法规生效之前，技术标准仍在制定中。
“然而，《人工智能法案》实施的成功，在很大程度上取决于它在为人工智能模型制定具体、精确的技术要求和以合规为中心的基准方面取得的进展，”ETH 分拆公司 LatticeFlow AI 的首席执行官兼创始人 Petar Tsankov 与 Vechev 表示，该公司致力于在实践中实施值得信赖的人工智能。
Vechev 研究小组的计算机科学家兼博士生 Robin Staab 补充道：“如果没有对（GP）AI 模型中的安全性、可解释性或可追溯性等关键术语的确切含义进行标准解释，那么模型开发人员就无法清楚他们的 AI 模型是否符合《AI 法案》。 ”
12 种语言模型测试暴露缺陷
ETH 研究人员开发的方法为讨论提供了一个起点和基础。研究人员还开发了第一个“合规性检查器”，这是一组基准，可用于评估 AI 模型是否符合欧盟 AI 法案的可能要求。
鉴于欧洲法律要求正在不断具体化，ETH 研究人员在arXiv预印本服务器上发布的一项研究中公开了他们的研究成果。他们还将研究结果提供给欧盟人工智能办公室，该办公室在《人工智能法案》的实施和遵守方面发挥着关键作用，因此也对模型评估起着关键作用。
在一项即使非专业人士也能理解的研究中，研究人员首先澄清了关键术语。他们从欧盟人工智能法案规定的六项核心道德原则（人类机构、数据保护、透明度、多样性、非歧视、公平性）出发，得出 12 项相关的、技术上明确的要求，并将它们与 27 个最先进的评估基准联系起来。
重要的是，他们还指出了哪些领域对人工智能模型的具体技术检查不够完善甚至不存在，鼓励研究人员、模型提供者和监管机构进一步推动这些领域有效实施欧盟人工智能法案。
进一步改进的动力
研究人员将他们的基准方法应用于 12 个著名的语言模型 (LLM)。结果表明，今天分析的所有语言模型均未完全满足欧盟 AI 法案的要求。“我们对这些大型语言模型的比较表明，它们存在缺陷，特别是在稳健性、多样性和公平性等要求方面，”Staab 说。
这也与以下事实有关：近年来，模型开发人员和研究人员主要关注一般模型能力和性能，而不是公平或非歧视等更多的道德或社会要求。
然而，研究人员发现，甚至连可解释性等关键的人工智能概念都还不明确。实际上，缺乏合适的工具来解释复杂的人工智能模型的结果是如何产生的：概念上不完全清楚的东西在技术上也几乎不可能评估。
这项研究明确指出，目前无法可靠地衡量各种技术要求，包括与版权侵权相关的要求。对于 Staab 来说，有一点很清楚：“仅将模型评估重点放在能力上是不够的。”
尽管如此，研究人员的眼光不仅仅在于评估现有模型。对他们来说，欧盟人工智能法案是立法将如何改变未来人工智能模型的开发和评估的第一个案例。
“我们将我们的工作视为推动《人工智能法案》实施的动力，并为模型提供者提供可行的建议，”Vechev 说，“但我们的方法可以超越欧盟《人工智能法案》，因为它也适用于其他类似的立法。”
“最终，我们希望鼓励法学硕士学位的平衡发展，既要考虑到能力等技术方面，也要考虑到公平性和包容性等道德方面，”Tsankov 补充道。
研究人员正在 GitHub 网站上提供他们的基准测试工具 COMPL-AI，以启动技术讨论。他们的基准测试结果和方法可以在那里进行分析和可视化。“我们已经将我们的基准测试套件作为开源发布，以便来自行业和科学界的其他研究人员可以参与其中，”Tsankov 说。