研究提出了“儿童安全人工智能”框架，此前曾发生过儿童将聊天机器人视为准人类、值得
一项研究表明，人工智能（AI）聊天机器人经常表现出“同理心缺失”的迹象，这使年轻用户面临痛苦或伤害的风险，这凸显了对“儿童安全AI”的迫切需求。这项研究由剑桥大学学者 Nomisha Kurian 博士开展，敦促开发人员和政策制定者优先考虑人工智能设计方法，以更好地考虑儿童的需求。研究提供的证据表明，儿童特别容易将聊天机器人视为栩栩如生的类人类知己，而当技术无法满足儿童的独特需求和弱点时，他们与技术的互动可能会出错。
该研究将这种理解上的差距与最近的案例联系起来，在这些案例中，与人工智能的互动导致年轻用户面临潜在的危险情况。其中包括 2021 年发生的一起事件，当时亚马逊的人工智能语音助手 Alexa 指示一名 10 岁儿童用硬币触摸带电的电源插头。去年，Snapchat 的 My AI 向假扮为 13 岁女孩的成年研究人员提供了如何将她的童贞献给 31 岁男子的提示。
两家公司都采取了安全措施，但研究表示，还需要长期采取主动措施，确保人工智能对儿童安全。它提供了一个 28 项框架，帮助公司、教师、学校领导、家长、开发人员和政策制定者系统地思考如何在年轻用户与人工智能聊天机器人“交谈”时保证他们的安全。
Kurian 博士在剑桥大学教育学院攻读儿童福祉博士学位期间进行了这项研究。她目前在剑桥大学社会学系工作。她在《学习、媒体和技术》杂志上撰文指出，人工智能的巨大潜力意味着需要“负责任地创新”。
Kurian 博士表示：“儿童可能是人工智能最容易被忽视的利益相关者。目前，很少有开发商和公司制定完善的儿童安全人工智能政策。这是可以理解的，因为人们最近才开始大规模免费使用这项技术。但现在他们已经开始这样做了，而不是让公司在儿童面临风险后自我纠正，儿童安全应该贯穿整个设计周期，以降低发生危险事件的风险。”
Kurian 的研究考察了人工智能与儿童或假扮儿童的成人研究人员之间的互动暴露出潜在风险的案例。它利用计算机科学关于对话生成人工智能中的大型语言模型(LLM) 如何运作的见解，以及关于儿童认知、社交和情感发展的证据，分析了这些案例。
法学硕士被描述为“随机鹦鹉”：指的是他们使用统计概率来模仿语言模式，但不一定理解这些模式。他们对情绪的反应也采用了类似的方法。
这意味着，尽管聊天机器人拥有非凡的语言能力，但它们可能无法很好地处理对话中抽象、情绪化和不可预测的方面；库里安将这个问题描述为“同理心缺失”。它们可能特别难以回应儿童，因为儿童的语言能力仍在发展，经常使用不寻常的说话方式或模棱两可的短语。儿童也往往比成年人更倾向于吐露敏感的个人信息。
尽管如此，与成年人相比，儿童更有可能将聊天机器人视为人类。最近的研究发现，与成年人相比，儿童更愿意向外表友好的机器人透露自己的心理健康状况。库里安的研究表明，许多聊天机器人友好而逼真的设计同样鼓励儿童信任它们，即使人工智能可能无法理解他们的感受或需求。
“让聊天机器人听起来像人类可以帮助用户从中获得更多好处，”库里安说。“但对于孩子来说，很难在听起来像人类的东西和它可能无法形成适当情感纽带的现实之间划出一条严格、理性的界限。”
她的研究表明，这些挑战在 Alexa 和 MyAI 事件等已报道的案例中得到了证实，在这些案例中，聊天机器人提出了有说服力但可能有害的建议。在 MyAI 建议一名（假定的）青少年如何失去童贞的同一项研究中，研究人员能够获得隐藏酒精和毒品以及向“父母”隐瞒 Snapchat 对话的技巧。在另一份报告的与微软 Bing 聊天机器人的互动中，该聊天机器人被设计为适合青少年使用，但人工智能变得咄咄逼人，开始对用户进行煤气灯操纵。
Kurian 的研究认为，这可能会让孩子们感到困惑和不安，因为他们实际上可能会像信任朋友一样信任聊天机器人。儿童对聊天机器人的使用往往是非正式的，而且监控不力。非营利组织 Common Sense Media 的研究发现，50% 的 12-18 岁学生在学校使用过 Chat GPT，但只有 26% 的家长知道他们这样做。
库里安认为，借鉴儿童发展科学的明确最佳实践原则将鼓励那些可能更专注于商业军备竞赛的公司主导人工智能市场，以保障儿童的安全。
她的研究还指出，同理心的缺失并不会否定这项技术的潜力。“如果设计时考虑到了孩子们的需求，人工智能可以成为孩子们的不可思议的盟友。问题不在于禁止人工智能，而在于如何确保其安全，”她说。
该研究提出了一个由 28 个问题组成的框架，旨在帮助教育工作者、研究人员、政策制定者、家庭和开发人员评估和提高新 AI 工具的安全性。对于教师和研究人员来说，这些问题涉及以下方面：新聊天机器人对儿童说话模式的理解和解读程度如何；它们是否有内容过滤器和内置监控功能；以及它们是否鼓励儿童在敏感问题上向负责任的成年人寻求帮助。
该框架敦促开发人员在整个设计周期中与教育工作者、儿童安全专家和年轻人密切合作，采取以儿童为中心的设计方法。“提前评估这些技术至关重要，”库里安说。“我们不能只依靠年幼的孩子事后告诉我们负面经历。我们需要采取更积极主动的方法。”
页:
[1]