与聊天机器人相关的死亡事件表明，我们必须紧急重新审视什么才是“高风险”人工智能

Josiah02

上周，美国青少年塞维尔·塞尔策三世 (Sewell Seltzer III) 因对 Character.AI 网站上的一款人工智能聊天机器人产生了深厚的感情而自杀，这则悲惨消息传出。
随着他与伴侣人工智能的关系愈发紧密，这位 14 岁的少年开始疏远家人和朋友，并在学校惹上麻烦。
在男孩的母亲对 Character.AI 提起的诉讼中，聊天记录显示，塞维尔和聊天机器人丹妮（以《权力的游戏》中的角色丹妮莉丝·坦格利安为原型）之间进行了亲密且经常充满性暗示的对话。他们讨论了犯罪和自杀问题，聊天机器人使用了诸如“这不是不去做这件事的理由”之类的短语。
这并不是已知的第一个弱势群体在与聊天机器人互动后自杀的案例。去年，一名比利时男子在与 Character.AI 的主要竞争对手 Chai AI 发生的类似事件中自杀。当这件事发生时，该公司告诉媒体，他们“正在尽最大努力将伤害降到最低”。
Character.AI在向 CNN 发表的声明中表示，他们“非常重视用户的安全”，并且“在过去六个月中推出了许多新的安全措施”。
在该公司网站上的另一份声明中，他们概述了针对 18 岁以下用户的额外安全措施。（根据他们目前的服务条款，欧盟公民的年龄限制为 16 岁，世界其他地区为 13 岁。）
然而，这些悲剧清楚地表明，快速发展和广泛普及的人工智能系统存在危险，任何人都可以与之交谈和互动。我们迫切需要制定法规来保护人们免受潜在危险和不负责任的人工智能系统的侵害。
我们如何规范人工智能？
澳大利亚政府正在为高风险人工智能系统制定强制性护栏。“护栏”是人工智能治理领域的一个流行术语，指的是人工智能系统的设计、开发和部署过程。这些措施包括数据治理、风险管理、测试、文档和人工监督等。
澳大利亚政府必须做出的决定之一是如何定义哪些系统是“高风险”的，从而受到护栏的约束。
政府还在考虑是否应该对所有“通用模型”都实施保护措施。通用模型是 Dany 等人工智能聊天机器人的引擎：人工智能算法可以根据用户提示生成文本、图像、视频和音乐，并可适应各种环境。
在欧盟具有里程碑意义的《人工智能法案》中，高风险系统以清单形式进行定义，监管机构有权定期更新该清单。
另一种方法是采用基于原则的方法，即根据具体情况确定高风险。这将取决于多种因素，例如对权利产生不利影响的风险、对身心健康产生不利影响的风险、产生法律影响的风险以及这些风险的严重程度和范围。
聊天机器人应该是“高风险”人工智能
在欧洲，Character.AI 和 Chai 等伴侣型人工智能系统并未被指定为高风险。本质上，它们的提供商只需让用户知道他们正在与人工智能系统互动即可。
但很明显，陪伴式聊天机器人的风险并不低。这些应用程序的许多用户都是儿童和青少年。有些系统甚至针对孤独或患有精神疾病的人进行营销。
聊天机器人能够生成不可预测、不恰当且具有操纵性的内容。它们很容易模仿有害关系。透明度（将输出标记为人工智能生成的）不足以管理这些风险。
即使我们意识到我们正在与聊天机器人交谈，人类在心理上也会倾向于将人类的特征归因于我们交谈的对象。
媒体报道的自杀死亡事件可能只是冰山一角。我们无法知道有多少弱势群体与聊天机器人的关系令人上瘾、有害甚至危险。
护栏和“关闭开关”
当澳大利亚最终为高风险人工智能系统引入强制性护栏时（这可能最早在明年发生），护栏应该适用于伴侣聊天机器人和聊天机器人所基于的通用模型。
护栏（风险管理、测试、监控）如果能直击人工智能危害的核心，将是最有效的。聊天机器人带来的风险不仅仅是技术解决方案带来的技术风险。
除了聊天机器人可能使用的词语外，产品的背景也很重要。以 Character.AI 为例，营销承诺“赋予人们权力”，界面模仿与人之间的普通短信交流，平台允许用户从一系列预制角色中进行选择，其中包括一些有问题的角色。
真正有效的人工智能护栏应该不仅仅要求负责任的流程，如风险管理和测试。它们还必须要求人工智能系统与人类用户之间的界面、交互和关系经过深思熟虑、人性化的设计。
即便如此，仅有护栏可能还不够。就像伴侣聊天机器人一样，最初看起来风险较低的系统可能会造成意想不到的危害。
如果人工智能系统造成危害或带来不可接受的风险，监管机构应该有权将其从市场上移除。换句话说，我们不仅需要为高风险人工智能设置护栏，还需要一个关闭开关。