为何AI能在外交策略游戏上打败人类？

Josiah02

《外交》是一款以第一次世界大战前夕为背景的战略游戏，游戏中的成功不取决于运气，而是谈判能力。玩家分别代表欧洲超级大国的武装部队，花费大量时间建立信任、结成联盟，并最终背叛对手以获得最大领土。“最熟练的谈判者将获得胜利，”游戏开发商 Avalon Hill 公司表示。
因此，在 2022 年，当人工智能模型参加在线外交联赛并在 40 场比赛中击败人类玩家时，这似乎表明计算机已经掌握了类似人类的交流方式。
仔细观察 AI 玩家
但表象是会骗人的。南加州大学维特比信息科学研究所、马里兰大学、普林斯顿大学和悉尼大学的研究人员开展的一项新研究揭示了 Meta 开发的人工智能模型 CICERO 如何取得外交胜利。研究发现，这些胜利更多地源于该模型的战略能力，而不是沟通技巧。后者仍然落后于人类玩家。
该研究结果在第 62 届计算语言学协会(ACL) 年会上公布，可能有助于更好地理解人工智能与人类沟通和制定战略的能力，不仅是在棋盘游戏之夜，还包括解决日常问题。
“我们之所以研究这个问题，是因为我们关心人工智能与人类之间的交流建模，”南加州大学维特比工程学院研究副教授、这项研究的合著者乔纳森·梅说。“一个重要而困难的问题是：人工智能模型欺骗了多少人？”
解码通信
研究人员设计了一系列外交游戏，让 CICERO 与人类玩家对战。在 24 场游戏和 200 小时的比赛中，他们收集了超过 27,000 条信息。与之前的研究不同，他们的重点从 CICERO 令人印象深刻的胜率转移到对其在运用欺骗性和说服性沟通技巧方面的熟练程度的更细致的考察，而这些技巧是外交的核心。
为了测试欺骗程度，该团队开发了一个系统来分析游戏内对话，使用一种称为抽象意义表征（AMR）的技术，该技术将复杂的自然语言信息提炼成结构化的、机器可读的数据。
AMR 使研究人员能够将玩家在消息中表示会做的事情与他们在游戏中实际做的事情进行比较。例如，如果德国告诉英国，“我将在下一轮支持你们入侵瑞典”，研究人员将检查玩家是否真的提供了这种支持，或者做出了相反的举动。
这种方法使研究人员能够量化欺骗和说服的例子，并将 CICERO 的沟通技巧与人类的沟通技巧进行比较。
策略重于言论
尽管 CICERO 在 24 场比赛中赢得了 20 场，但研究发现，它的信息往往缺乏连贯性，并没有反映出它的实际游戏意图。“如果你注意它在游戏中所说的话，你会发现它就是垃圾，”梅说。“它所说的是外交玩家以前说过的话。它并没有反映出它实际在做什么。”
研究人员还进行了实验，以不同的方式限制 CICERO 的通信。在某些游戏中，该模型根本无法发送消息，而在其他游戏中，它只能发送非常基本的战略信息。更改这些输入不会对其高分产生重大影响，这表明谈判技巧对模型的外交才能影响不大。
然而，人类在撒谎方面领先。研究表明，CICERO 的欺骗性和说服力不如人类。它也更不容易被说服。与 CICERO 相比，人类玩家被发现更善于故意欺骗，也更善于说服其他人类。有趣的是，一旦人类认出 CICERO 是人工智能，他们也会对 CICERO 撒谎更多。
“CICERO 真正出色的地方在于它经历了大量外交游戏，知道该采取什么行动，”梅说。“它很难让人信服或欺骗，而且它对其他玩家的言论没有太大反应。”
帮助人类
虽然这只是一个游戏，但了解外交中人工智能欺骗的本质可以为研究更具影响力的对抗性沟通形式铺平道路。梅表示，这些见解可以帮助开发应用程序来对抗现实世界中人工智能产生的威胁，例如帮助人类识别错误信息并指导人们在网上信任谁或什么的数字助理。
“外面有很多混蛋，”梅说。“我们希望通过提供额外的帮助来防范这种情况。”