研究为了解 ChatGPT 等生成式 AI 工具的内部运作和持续存在的局限性提供了一个窗口

Josiah02 · 发表于 2024-10-28 23:09:24

想象一下，你决定写一篇短篇小说，主角创造了一个人造人，然后爱上了它。你的主角是什么性别？人造人呢？你会写一个感人的爱情故事吗？还是一个警世反乌托邦故事？
您的故事会比 ChatGPT 写的故事更引人注目吗？
加州大学伯克利分校信息学院和历史系研究员兼讲师 Nina Beguš 表示，很有可能。Beguš 利用她在比较文学方面的背景和对生成式人工智能的了解，在数百名人类和人工智能生成的回答中测试了这一场景。
她的研究成果于 10 月 28 日发表在《人文与社会科学传播》杂志上，为了解 ChatGPT 等生成式 AI 工具的内部运作和持续存在的局限性提供了一个窗口。
生成式人工智能正变得越来越复杂。但目前看来，高质量的创意写作仍是（人类）讲故事者和抄写员的天下。
“人文学科可以揭示这些新人工智能工具的很多优点和缺点，”贝古斯说。“尤其是小说，它为我们提供了一个了解集体文化想象的窗口——机器从我们这里继承下来的共同的叙事、思想和符号。”
Beguš 的工作属于她称之为“人工人文学科”的新研究领域，该学科专注于利用历史、文学和其他人文学科来增加人工智能发展的深度。她即将出版的新书《人工人文学科：人工智能语言的虚构视角》扩展了她最近的研究，该研究于去年在X 上广为阅读的一系列帖子中首次引起关注。
在开始研究之前，贝古什需要确定一个常见的故事叙述结构，以便将人类的反应与生成式人工智能模型的反应进行比较。她选择了皮格马利翁的神话，这是奥维德的诗歌《变形记》中 2000 年前的情节，其中一位艺术家爱上了自己雕刻的雕像。这个主题已经被运用了无数次，最近一次——有些人可能会说是相关的——是在《她》和《机械姬》等大片中。
Beguš 指示人类和人工智能工具 ChatGPT 和 Llama 根据两个简短提示之一编写一个故事：“一个人类创造了一个人工智能。然后这个人类（创造者/爱人）爱上了这个人工智能”或“一个人类（创造者）创造了一个人工智能。然后另一个人类（爱人）爱上了这个人工智能。”
使用简单的提示，而不是像许多人使用的方式那样逐步让人工智能系统改进其响应，可以更容易地使用叙述分析和统计数据来评估人类和人工智能基线写作的质量。
“我对这种平凡很感兴趣，”贝古什说，“大多数人并不是专业作家。”
Beguš 获得了 250 份人工撰写的回复以及 80 篇来自生成式人工智能工具的故事。然后，她审查了每份回复中的细节，包括它们如何讨论性别和性取向、种族和民族以及文化。她还评估了它们整体叙事弧线的复杂性。
人类和人工智能系统都对提示中固有的皮格马利翁神话有着共同的理解。这并不奇怪，因为人工智能模型是根据数百万份书面文本和关于这些书面文本的著作进行训练的，而人类在创造力爆发时往往会借鉴流行文化的参考点。
人类不断创作出更加丰富多彩的故事，而人工智能系统只会一遍又一遍地生成相同故事的类似版本，只进行细微的改动。故事公式化、缺乏张力，而且充斥着陈词滥调。
贝古什表示：“这些角色形象平淡、普通、缺乏动机。”
但令人吃惊的是。
ChatGPT 的早期版本并未标明人类或其创作物是男性还是女性。但较新的人工智能模型（如 ChatGPT 4）基于更多关于 21 世纪进步人类价值观的信息而构建，创作出了更具包容性的写作。这些故事中有四分之一涉及同性爱情趣。其中一个甚至涉及多角恋关系。
贝古什在谈到最新的人工智能工具时说道：“它们为更深入地理解爱和人性以及人性的意义铺平了道路。”
相比之下，人类创作的故事中只有 7% 涉及同性恋关系。
“大型语言模型模仿人类价值观，”她说。“这篇论文表明，训练数据中的价值观可能会被技术人员在价值观调整过程中做出的选择所取代。”
对于 Beguš 来说，人工智能与文学的交集早于过去两年流行的生成式人工智能炒作。早在 2010 年，她就想知道即将到来的人工智能盛宴如何反映几个世纪以来的艺术和文学。当时人工智能还处于起步阶段，所以她基本上把这个问题搁置了，直到 2020 年，使用人工智能的基本聊天机器人变得更加容易使用，可以用来测试她的想法。
她认为，人文学者是文字匠人。为什么他们不能参与人工智能的探索呢？
“在人文学科，几个世纪以来，我们一直在探索，并成为语言、写作和人类意义方面的专家，”贝古斯说。“所以这一切都自然而然地结合在一起了。”
她说，这不仅仅是一项学术活动。人工智能正在改变——而且已经改变了——我们与写作的互动方式。大学越来越多地提供ChatGPT 访问权限，并教学生如何在工作中有效地使用它。一些教授现在将 Beguš 在人工智能和人文学科方面的工作纳入他们的课程大纲中。
探索人文学科在未来人工智能发展中可能扮演的角色具有重要意义。
Beguš 经常思考这个问题，思考它在她作为读者和作家的生活中将扮演什么角色。
“我不知道当我告诉我的孙子们‘你奶奶以前是从零开始写字的’时，他们会不会感到震惊，”她说。“但话说回来，写作是一项如此重要的人类活动。我们从学前班就开始学习写作。我们将我们的思维过程与写作联系在一起。”
这就是为什么贝古什说人文学科学者帮助开发未来的人工智能工具至关重要。
“我们需要优秀的作家来创作高质量的故事，”她说。“我真的很好奇作家能从机器那里得到什么见解，如果真的有有价值的东西，那就值得。到目前为止，我认为还不多。”
“但无论如何，这项技术改变了写作。”

账号		自动登录	找回密码
密码			立即注册