如何判断文本是否由人工智能生成？研究人员找到了一种新方法
你是否曾经看过一篇文章，觉得其中有些地方可能“不对劲”？你可能很难准确指出到底是什么地方不对劲。可能形容词太多，句子结构可能过于重复。你可能会想，“这是人类写的，还是人工智能生成的？”在一篇新论文中，美国东北大学的研究人员试图通过分析人工智能生成的文本中的句法或句子结构来更轻松地回答这个问题。他们发现，人工智能模型往往比人类更频繁地产生名词、动词和形容词的特定模式。
该作品发表在arXiv预印本服务器上。
“这从经验上证实了，很多这些世代都是公式化的，”东北大学数据科学项目主任、Sy 和 Laurie Sternberg 跨学科副教授拜伦·华莱士 (Byron Wallace) 说。“从字面上看，他们是公式化的。”
众所周知，人工智能模型倾向于重复某些单词——ChatGPT 曾经历过一段总是“深入研究”的时期，华莱士说。但华莱士表示，在识别人工智能生成的文本时，这“并没有真正抓住整个故事”。华莱士和负责这项研究的东北大学博士生 Chantal Shaib 决定不去研究人工智能模型选择的单词，而是专注于语法。
研究人员促使各种人工智能模型生成特定类型的文本，例如电影评论和新闻文章或生物医学研究的摘要。然后，他们分析了所有人工智能生成的文本，并确定了所谓的句法模板，即人工智能模型重复的某些词类序列。
文本中产生的句法模式类型因 AI 模型而异。华莱士说，这几乎就像“每个模型都有自己的特征”。在某些情况下，它们看起来像是一组双重形容词。《旧金山的最后一个黑人》的电影评论摘要将这部电影描述为“独特而强烈的观影体验”，导演的“高度原创和令人印象深刻的处女作”，以及“神奇而发人深省”，所有这些都在两段之内。
“人类也能制作这些模板，”Shaib 说。“他们的写作中可以有重复的句法，但其频率比模型产生的频率要低得多。”
Shaib 补充说，人工智能模型的大小不会影响其生成这些模板的可能性。他们分析的每个模型都倾向于以比人类更高的速度重复句法模式。
然而，根据他们研究的写作风格，人工智能模型和人类使用这些模式的频率之间的差异有所不同。在有特定风格指南的生物医学写作中，这种差距要小得多。与此同时，在电影评论和新闻文章中，作家可以发挥更多创造力，人工智能模型在产生相同模式方面远远超过人类，Shaib 说。
这些模板从哪里来的？Shaib问道。
“我们发现，实际上这并不是模型在生成过程中编造出来的，”Shaib 说。“我们能够在训练数据中找到大约 75% 的模板。”
沙伊布承认，这项研究并非旨在创建一种万无一失的方法来判断一段文本是否由人工智能生成。然而，它为人们如何谈论人工智能生成的文本提供了一个新模型，拓宽了视野，不仅可以观察特定的单词，还可以观察整个写作风格。
“这项研究最大的收获是，它为我们提供了一个工具，让我们可以确切地了解为什么某些文本对我们来说似乎有点不对劲，尤其是当我们连续看到很多这样的文本时，”Shaib 说。“它为我们提供了一种方法来真正分析这里发生的事情，而不是仅仅依靠感觉。”
页:
[1]