人工智能和人类作家拥有相同的文体指纹:研究人员的新研究发现了法学硕士的写作模式
人们的写作风格和个人特色使他们有别于其他作家。约翰霍普金斯大学牵头的新研究发现,人工智能也是如此,包括 Chat GPT 等顶级程序。一种新工具不仅可以检测人工智能创作的文字,还可以预测是哪个大型语言模型创作的,这一发现有助于识别学校作弊者和传播网络虚假信息的人所青睐的语言程序。
约翰霍普金斯大学人类语言技术卓越中心高级研究员、作者尼古拉斯·安德鲁斯 (Nicholas Andrews) 表示:“我们首次证明人工智能生成的文本与人类写作具有相同的特征,并且可以使用该特征可靠地检测它并将其归因于特定的语言模型。”
这项研究成果于 5 月份在人工智能会议——国际学习表征会议上进行了展示,它或许能够揭示哪些程序容易被滥用,从而带来更强有力的控制和保障。
ChatGPT 等大型语言模型的出现让任何人都能轻松生成虚假文章。其中大部分都是无害的,但学校正在努力解决抄袭问题,不良分子正在传播垃圾邮件、网络钓鱼和错误信息。
2016 年大选之后,由于对外国在社交媒体上影响活动的担忧,安德鲁斯开始对开发有助于打击网上虚假信息的技术产生了兴趣。
“我说让我们试着在网上建立一个人的指纹,看看这些指纹是否与我们看到的任何虚假信息相对应,”安德鲁斯说。“现在我们有了这把花了数年时间打造的锤子,我们可以用它来检测哪些是假的,哪些不是网上的。不仅如此,我们还可以确定它是 ChatGPT、Gemini 还是 LLaMA,因为它们都有语言指纹,不仅可以将它们与人类作者区分开来,还可以与其他机器作者区分开来。
流行的机器文本检测器 GPTZero 误认为第一条评论是人类撰写的。所有三条评论均由机器使用 GPT-4 生成。图片来源:约翰霍普金斯大学
“令人惊讶的是,我们建立这个系统时并没有打算将其应用于机器写作,而且该模型是在 ChatGPT 出现之前训练的。但这些有助于区分人类作家的特征在检测机器写作指纹方面非常成功。”
团队惊讶地发现,每个人工智能写作程序都有独特的风格。他们原本以为所有机器写作都会有相同的通用语言指纹。
他们的检测工具经过 Reddit 匿名写作样本的训练,适用于任何语言。任何人都可以免费使用和下载。它已经被下载了大约 10,000 次。
该团队并不是第一个创建人工智能书写检测系统的团队。但他们的方法似乎是最准确、最灵活的,能够快速响应不断变化的人工智能格局。
安德鲁斯说:“执法部门提出了这一概念,分析勒索信和其他犯罪嫌疑人的书写内容,并试图将其与个人进行匹配。”
“我们基本上是将其扩大了。我们取消了定义这些书面特征的人工手动过程,向问题投入了大量数据,并让神经网络决定哪些特征是重要的。我们没有说看感叹号或看被动语态或主动语态。系统已经搞清楚了,这就是我们能够做得比人类好得多的原因。”
当团队在国际学习表征会议上展示这项工作时,主要作者、约翰霍普金斯大学一年级博士生、安德鲁斯指导的拉斐尔·里维拉·索托 (Rafael Rivera Soto) 制作了一个发人深省的演示。他通过检测器运行了会议上的所有同行评审。它将大约 10% 的评论标记为可能是机器生成的,而且很可能是 ChatGPT。
作者包括约翰霍普金斯大学的博士生 Aleem Khan;劳伦斯利弗莫尔国家实验室的 Kailin Koch 和 Barry Chen;以及美国国防部的 Marcus Bishop。
页:
[1]