新工具可检测人工智能制作的虚假科学论文
当 ChatGPT 和其他生成人工智能可以生成看起来真实的科学文章时（尤其是对于该研究领域之外的人来说），找出哪些是假的最好方法是什么？宾汉姆顿大学托马斯·沃森工程与应用科学学院的客座研究员艾哈迈德·阿卜丁·哈米德 (Ahmed Abdeen Hamed) 创建了一种机器学习算法，他称之为 xFakeSci，该算法可以检测出高达 94% 的伪造论文 - 成功率几乎是更常见的数据挖掘技术的两倍。
“我的主要研究是生物医学信息学，但因为我的工作涉及医学出版物、临床试验、在线资源和挖掘社交媒体，所以我总是关心某些人所传播的知识的真实性，”哈米德说道，他是乔治 J. 克利尔系统科学教授路易斯 M. 罗查的复杂自适应系统和计算智能实验室的成员。
“全球疫情期间，生物医学文章尤其受到严重打击，因为有些人公布了虚假研究。”
在《科学报告》杂志上发表的一篇新论文中，哈米德与合作伙伴、中国合肥工业大学教授吴新东针对三个热门医学话题（阿尔茨海默氏症、癌症和抑郁症）分别创建了 50 篇虚假文章，并将它们与相同数量的真实文章进行了比较。
哈米德说，当他向 ChatGPT 询问人工智能生成的论文时，“我试图使用与从 [美国国立卫生研究院] PubMed 数据库中提取文献时完全相同的关键词，这样我们就有了一个共同的比较基础。我的直觉是，虚拟世界与现实世界之间一定存在着某种模式，但我不知道这种模式是什么。”
经过一些实验，他编写了 xFakeSci 程序来分析与论文写作方式相关的两个主要特征。一是二元词组的数量，二元词组是两个经常一起出现的单词，例如“气候变化”、“临床试验”或“生物医学文献”。二是这些二元词组如何与文本中的其他单词和概念相关联。
“最引人注目的是，在虚拟世界中，二元组的数量非常少，但在现实世界中，二元组要丰富得多，”哈米德说。“此外，在虚拟世界中，尽管二元组数量很少，但它们与其他一切都息息相关。”
哈米德和吴认为，写作风格之所以不同，是因为人类研究人员与人工智能在特定主题上写作的目标并不相同。
“由于 ChatGPT 的知识仍然有限，因此它试图用最重要的词语来说服你，”哈米德说。“向你提出令人信服的论点不是科学家的工作。真正的研究论文会如实报告实验过程中发生的事情和使用的方法。ChatGPT 注重单点的深度，而真正的科学则注重广度。”
系统科学与工业工程系杰出教授兼系主任 Mohammad T. Khasawneh 对 Hamed 的研究表示赞赏。
他说：“我们很高兴看到最近加入我们的客座教授名单的艾哈迈德·阿卜丁·哈米德博士正在研究这些新奇的想法。在‘深度伪造’成为公众讨论话题的时代，他的工作非常及时，在很多层面上都具有现实意义。我们对他工作的前景感到兴奋，并期待与他进一步合作。”
为了进一步开发 xFakeSci，Hamed 计划扩大研究范围，看看这些明显的词汇模式是否适用于其他研究领域，不仅局限于医学，还包括工程学、其他科学主题和人文学科。他还预见到人工智能会变得越来越复杂，因此确定什么是真实的、什么是虚假的将变得越来越困难。
他说：“如果我们不设计出全面的东西，我们就会一直处于追赶状态。我们还有很多工作要做，寻找一种不依赖于使用哪个版本的生成式人工智能的通用模式或通用算法。”
因为尽管他们的算法可以识别出 94% 的人工智能生成的试卷，但他补充说，这意味着 100 份假试卷中仍有 6 份可以混过关：“我们需要对我们所取得的成就保持谦虚。通过提高人们的认识，我们做了一件非常重要的事情。”
页:
[1]