研究：大型语言模型存在偏见，但仍可帮助分析复杂数据
在发布到arXiv预印本服务器的一项试点研究中，研究人员发现证据表明，大型语言模型 (LLM) 能够以类似于人类的方式分析诸如澳大利亚 Robodebt 丑闻等有争议的话题，并且有时也会表现出类似的偏见。研究发现，可以通过周到的指示促使 LLM 代理（GPT-4 和 Llama 2）将其编码结果与人类任务对齐：“保持怀疑！”或“要节俭！”同时，LLM 还可以帮助人类研究人员识别疏忽和潜在的分析盲点。
LLM 是一种很有前途的分析工具。它们可以增强人类的哲学、认知和推理能力，并通过分析大量数据来支持“理解”——理解复杂的环境或主题——而早期的文本处理系统并不具备这种能力，因为这些数据能够敏感地感知上下文和细微差别。
这项研究由昆士兰大学 ARC 自动决策和社会卓越中心（ADM+S）的 Awais Hameed Khan 博士领导。
“我们认为，法学硕士应该用来协助而不是取代人类的解释。
“我们的研究为人类如何利用法学硕士作为迭代和对话分析工具的力量来支持法学硕士辅助主题分析中的反身性提供了方法论蓝图。我们为现有的在定性研究方法中使用自动化的研究贡献了新颖的见解，”Khan 博士说。
“我们还推出了一种新颖的设计工具包——AI Sub Zero Bias 卡，供研究人员和从业人员进一步探究和探索 LLM 作为分析工具。”
AI Sub Zero Bias 卡片可帮助用户构建提示并询问生成式 AI 工具（如大型语言模型）输出中的偏见。该工具包包含 58 张卡片，涵盖与结构、后果和输出相关的类别。
这些激发借鉴创造力原则，探索了如何将生成的输出重新格式化和重构为替代结构以促进反思性思维。
这项研究由 ARC 自动决策和社会卓越中心 (ADM+S) 的研究人员 Awais Hameed Khan 博士、Hiruni Kegalle、Rhea D'Silva、Ned Watt 和 Daniel Whelan-Shamy 在微软研究院的 Lida Ghahremanlou 博士和西悉尼大学 ADM+S 节点的副教授 Liam Magee 的指导下进行。
该研究小组于 2023 年 ADM+S Hackathon 开始合作，并在那里开发了获奖项目 Sub-Zero。使用人类和 LLM 进行机器人债务话语的比较主题分析实验。
副教授 Liam Magee 自从在 Hackathon 上第一次见到他们以来就一直担任该团队的指导。
“ADM+S Hackathon 在将来自多个学科和大学的研究人员聚集在一起方面发挥了重要作用，”Magee 副教授说。
“这项研究是团队做出的巨大贡献，我要感谢团队的努力以及 Sally Storey 和 ADM+S 的后勤支持，使这项研究成为可能。”
页:
[1]