问答：专家警告人工智能自主武器的风险

Josiah02

　　几十年来，军方一直在使用自主武器，例如水雷、鱼雷和热制导导弹，这些武器基于简单的反应反馈运行，无需人工控制。然而，人工智能 (AI) 现已进入武器设计领域。
　　哈佛医学院布拉瓦尼克研究所神经生物学副教授卡纳卡·拉詹及其团队认为，人工智能自主武器代表着战争的新时代，对科学进步和基础研究构成了切实的威胁。
　　拉詹表示，人工智能武器（通常涉及无人机或机器人）正在积极开发和部署中。她预计，由于此类技术易于普及，随着时间的推移，它们只会变得更加强大、更加复杂，并且得到广泛使用。
　　与此同时，她担心人工智能武器可能会导致地缘政治不稳定，以及它们的发展将如何影响学术界和工业界的非军事人工智能研究。
　　拉詹与哈佛大学医学院神经生物学研究员 Riley Simmons-Edler 和 Ryan Badman 以及麻省理工学院博士生 Shayne Longpre 在2024 年国际机器学习会议上发表并提交的立场文件中概述了他们关注的核心问题以及未来发展方向。
　　在接受《哈佛医学新闻》的采访时，拉詹解释了她和她的团队为何决定研究人工智能军事技术这一主题，他们认为最大的风险是什么，以及他们认为接下来应该发生什么。
　　您是一位计算神经科学家，研究人类和动物大脑背景下的人工智能。您是如何想到人工智能驱动的自主武器的？
　　我们开始考虑这个话题，是为了回应 2023 年春季流传的一系列关于人工智能的末日预言。我们问自己，如果这些预言确实被夸大了，那么人类社会面临的真正风险是什么？我们研究了军方如何使用人工智能，发现军事研发正在大力推动建立具有全球影响的人工智能自主武器系统。
　　我们意识到，学术界的人工智能研究界无法免受这些武器大规模发展所带来的后果。在没有外部建议的情况下，军队往往缺乏足够的专业知识来开发和部署人工智能技术，因此他们必须借鉴学术界和行业人工智能专家的知识。这给学术机构的研究人员和管理人员提出了重要的道德和实践问题，类似于任何资助学术研究的大型公司所面临的问题。
　　当人工智能和机器学习融入武器时，您认为最大的风险是什么？
　　人工智能武器的研发存在许多风险，但我们认为最大的三个风险是：首先，这些武器可能使各国更容易卷入冲突；其次，非军事人工智能科学研究可能受到审查或被利用来支持这些武器的研发；第三，军方可能使用人工智能自主技术来减少或转移人类在决策中的责任。
　　关于第一点，阻止国家发动战争的一大威慑因素是士兵死亡——这是公民的人员伤亡，可能会给领导人带来国内影响。目前许多人工智能武器的开发旨在将人类士兵从危险中解救出来，这本身就是一件人道的事情。然而，如果在进攻性战争中死亡的士兵很少，就会削弱战争行为与人员伤亡之间的关联，在政治上发动战争会变得更加容易，这反过来可能会导致更多的死亡和破坏。因此，随着人工智能军备竞赛的加剧和此类技术的进一步普及，重大的地缘政治问题可能很快就会出现。
　　关于第二点，我们可以回顾核物理和火箭等学术领域的历史。由于这些领域在冷战期间具有至关重要的国防重要性，研究人员经历了旅行限制、出版物审查以及需要安全许可才能从事基本工作。随着人工智能驱动的自主技术成为全球国防规划的核心，我们可能会看到对非军事人工智能研究施加类似的限制，这将极大地阻碍人工智能的基础研究、医疗保健和科学研究中有价值的民用应用以及国际合作。鉴于人工智能研究的发展速度以及人工智能武器的研发正在获得关注，我们认为这是一个紧迫的问题。
　　最后，如果人工智能武器成为国防的核心，我们可能会看到学术界和工业界的人工智能研究人员努力研究这些武器或开发更多“双重用途”项目。如果越来越多的人工智能知识开始被锁定在安全许可之下，这将在智力上阻碍我们的领域。一些计算机科学家已经在呼吁进行如此严格的限制，但他们的论点忽视了这样一个事实：新武器技术一旦被开创，就会不断扩散。
　　您认为为什么那些考虑人工智能威胁的人相对忽视了武器设计？
　　原因之一是这是一个新的、快速变化的局面：自 2023 年以来，一些大国已开始迅速公开接受人工智能武器。此外，单个人工智能武器系统孤立起来似乎没有那么危险，因此很容易忽视问题，而将其视为更广泛的系统和能力集合时则不然。
　　另一个挑战是，科技公司对其武器系统的自主程度和人为监督程度不透明。对于一些公司来说，人为监督可能意味着在人工智能武器单元做出一连串黑箱决策后按下“杀戮”按钮，而人类无法理解或发现系统逻辑中的错误。对于其他公司来说，这可能意味着人类拥有更多的实际控制权，并正在检查机器的决策过程。
　　不幸的是，随着这些系统变得越来越复杂和强大，战争中的反应时间必须更快，黑箱结果更有可能成为常态。此外，在人工智能驱动的自主武器上看到“人在回路”可能会让研究人员误以为该系统符合军事标准的道德标准，而事实上它并没有让人类真正参与决策。
　　最紧迫且必须回答的研究问题是什么？
　　虽然制造人工智能武器还有许多工作要做，但大多数核心算法已经被提出，或者成为非军事应用（例如自动驾驶汽车）驱动的重大学术和行业研究的重点。考虑到这一点，我们必须考虑作为科学家和研究人员的责任，以合乎道德的方式指导这些技术的应用，以及如何应对军事利益对我们研究的影响。
　　如果世界各地的军队都希望用人工智能部队取代大量战场和支援角色，他们将需要学术和行业专家的支持。这引发了一些问题：大学应该在军事人工智能革命中扮演什么角色，哪些界限不应该被跨越，以及应该设立哪些集中监督和监督机构来监控人工智能在武器中的使用。
　　在保护非军事研究方面，我们可能需要考虑哪些人工智能发展可以归类为闭源与开源，如何建立使用协议，以及国际合作将如何受到计算机科学日益军事化的影响。
　　我们如何才能向前迈进，既能促进创造性的人工智能研究，又能防止其被用于武器？
　　学术界与政府、科技、医学和信息领域的大型企业以及军方都曾有过重要且富有成效的合作，并且这种合作还会继续下去。然而，从历史上看，学术界也曾与糖业、化石燃料业和烟草业有过令人尴尬且有害的合作。现代大学有机构培训、监督和透明度要求，以帮助研究人员了解行业资助的道德风险和偏见，并避免产生有道德问题的科学成果。
　　据我们所知，目前军事资助尚无此类培训和监督。我们提出的问题很复杂，无法通过一项政策解决，但我们认为，一个好的开端是大学为军事、国防和国家安全机构资助的项目创建讨论会、内部法规和监督流程，这些流程与行业资助项目现有的流程类似。
　　您认为现实的结果是什么？
　　社区中有些人呼吁全面禁止军事人工智能。虽然我们同意这在道德上是理想的，但我们也认识到这并不现实——人工智能在军事用途上太有用，无法获得建立或执行此类禁令所需的国际共识。
　　相反，我们认为各国应集中精力开发人工智能武器，以增强而非取代人类士兵。通过优先考虑人类对这些武器的监督，我们有望防止最严重的风险。
　　我们还想强调，人工智能武器并非铁板一块，需要根据能力进行检验。我们必须尽快禁止和监管最恶劣的人工智能武器，我们的社区和机构必须划定不容逾越的界限。
　　更多信息： Riley Simmons-Edler 等人，立场：人工智能自主武器威胁地缘政治不稳定并威胁人工智能研究(2024)