新的“人工智能科学家”无需任何人工输入即可撰写科学论文——这就是问题所在

Josiah02

科学发现是人类最复杂的活动之一。首先，科学家必须了解现有知识并确定重大差距。接下来，他们必须提出研究问题并设计和进行实验以寻求答案。然后，他们必须分析和解释实验结果，这可能会引发另一个研究问题。
如此复杂的过程能实现自动化吗？上周，Sakana AI Labs 宣布创建“AI 科学家”——他们声称该系统可以完全自动化地在机器学习领域做出科学发现。
通过使用 ChatGPT 和其他 AI 聊天机器人背后的生成式大型语言模型 (LLM)，该系统可以集思广益，选择一个有前途的想法，编写新算法，绘制结果，并撰写一篇总结实验及其发现的论文，并附上参考文献。Sakana 声称，该 AI 工具可以完成科学实验的完整生命周期，每篇论文的成本仅为 15 美元——比科学家的午餐费用还低。
这些都是大论。它们站得住脚吗？即使它们站得住脚，一大批以超人速度发表研究论文的人工智能科学家真的对科学来说是好消息吗？
计算机如何“进行科学研究”
很多科学研究都是公开进行的，几乎所有科学知识都已被记录在某个地方（否则我们就没有办法“知道”它们）。数以百万计的科学论文可以在arXiv和PubMed等资料库中免费在线获取。
用这些数据训练的 LLM 可以捕捉科学语言及其模式。因此，生成式 LLM 可以写出看起来像优秀科学论文的东西，这一点也不奇怪——它吸收了许多可以复制的例子。
目前尚不清楚的是，人工智能系统是否能写出有趣的科学论文。至关重要的是，好的科学需要新颖性。
但它有趣吗？
科学家并不想被告知已知的事物。相反，他们希望学习新事物，尤其是与已知事物有显著不同的新事物。这需要判断贡献的范围和价值。
Sakana 系统试图通过两种方式解决趣味性问题。首先，它会根据新论文想法与现有研究（在Semantic Sc​​holar存储库中编入索引）的相似性对其进行“评分”。任何过于相似的内容都会被丢弃。
其次，Sakana 的系统引入了“同行评审”步骤——使用另一个 LLM 来判断生成的论文的质量和新颖性。同样，openreview.net等网站上有很多同行评审的例子，可以指导如何评论论文。LLM 也吸收了这些。
人工智能可能无法很好地判断其输出结果
对于 Sakana AI 的成果，人们的反馈褒贬不一。有些人认为它只是在制造“无尽的科学废话”。
即使是系统自己对输出的审查也最多只能判定论文质量很差。随着技术的发展，这种情况可能会有所改善，但自动化科学论文是否有价值的问题仍然存在。
LLM 判断研究质量的能力也是一个悬而未决的问题。我自己的研究（即将发表在《研究综合方法》上）表明，LLM 并不擅长判断医学研究中的偏见风险，尽管这种情况也可能随着时间的推移而改善。
Sakana 的系统可自动进行计算研究发现，这比其他需要进行物理实验的科学类型容易得多。Sakana 的实验是用代码完成的，代码也是 LLM 可以训练生成的结构化文本。
人工智能工具将支持科学家，而不是取代他们
几十年来，人工智能研究人员一直在开发支持科学的系统。鉴于已发表的研究数量巨大，即使找到与特定科学问题相关的出版物也很有挑战性。
专门的搜索工具利用人工智能帮助科学家查找和综合现有成果。这些工具包括上面提到的 Semantic Sc​​holar，以及Elicit、Research Rabbit、scite和Consensus等较新的系统。
PubTator等文本挖掘工具可以深入挖掘论文，找出关键关注点，例如特定的基因突变和疾病，以及它们之间的既定关系。这对于整理和组织科学信息特别有用。
机器学习还被用于支持医学证据的综合和分析，例如Robot Reviewer等工具。来自Scholarcy的比较和对比论文中主张的摘要有助于进行文献综述。
所有这些工具的目的都是帮助科学家更有效地完成工作，而不是取代他们。
人工智能研究可能会加剧现有问题
尽管 Sakana AI表示并不认为人类科学家的作用正在减弱，但该公司“完全由人工智能驱动的科学生态系统”的愿景将对科学产生重大影响。
一个令人担忧的问题是，如果人工智能生成的论文充斥着科学文献，未来的人工智能系统可能会接受人工智能输出的训练，并经历模型崩溃。这意味着它们在创新方面可能会变得越来越无效。
然而，其对科学的影响远远超出了对人工智能科学系统本身的影响。
科学界已经存在一些不良行为者，包括大量制造假论文的“论文工厂”。当一篇科学论文只需要 15 美元和一个模糊的初始提示就能发表出来时，这个问题只会变得更加严重。
检查大量自动生成的研究中的错误的需求可能会迅速压垮实际科学家的能力。同行评审系统可以说已经崩溃，将更多质量存疑的研究投入系统并不能解决问题。
科学从根本上来说建立在信任的基础上。科学家强调科学过程的完整性，因此我们可以确信我们对世界（以及现在对世界机器）的理解是正确且不断改进的。
以人工智能系统为主要参与者的科学生态系统引发了一些根本性问题，即这一过程的意义和价值，以及我们应该对人工智能科学家抱有何种程度的信任。这是我们想要的科学生态系统吗？
由 The Conversation提供