研究强调检测针对亚裔社区的暴力言论面临的挑战
一个研究小组呼吁互联网和社交媒体管理员加强对暴力言论的检测和干预协议。他们对语言检测软件的研究发现，算法很难区分反亚裔暴力言论和一般仇恨言论。如果不加以制止，网上暴力威胁可能会被忽视，并演变成现实世界的攻击。
佐治亚理工学院和反诽谤联盟 (ADL) 的研究人员共同开展了这项研究。他们在测试基于从亚洲社区众包数据训练的自然语言处理 (NLP) 模型时发现了这一点。
“COVID-19 疫情让人们意识到煽动暴力的言论有多么危险。针对亚裔的暴力和仇恨犯罪的报道明显增加，”领导这项研究的佐治亚理工学院博士生 Gaurav Verma 说。
“这样的言论经常在社交平台上被放大，进而助长反亚裔情绪和攻击。”
煽动暴力的言论不同于更常见的有害言论形式，例如仇恨言论。仇恨言论贬低或侮辱某个群体，而煽动暴力的言论则明里暗里地鼓励针对目标群体的暴力行为。
人类可以将暴力言论定义并归类为仇恨言论的一部分。然而，由于语言中存在微妙的线索和暗示，计算机模型很难分辨两者的区别。
研究人员测试了五种不同的 NLP 分类器并分析了它们的 F1 分数，该分数衡量了模型的性能。分类器报告的仇恨言论检测得分为 0.89 ，而暴力言论检测得分仅为 0.69。这种对比凸显了这些工具在准确性和可靠性方面的明显差距。
这项研究强调了开发更精确的方法来检测煽动暴力的言论的重要性。互联网上的错误信息和煽动性言论加剧了紧张局势，并导致了现实世界的暴力。
新冠疫情是公共卫生危机如何加剧这种行为的典型例子，有助于启发这项研究。该组织指出，由于恶意内容将病毒归咎于亚裔，2021 年美国反亚裔犯罪增加了 339%。
研究人员认为，他们的研究结果表明，以社区为中心的方法对于解决有害言论问题非常有效。这些方法将使政策制定者、目标社区和在线平台开发者能够做出明智的决策。
除了更强大的检测暴力言论的模型外，该小组还讨论了一种直接的解决方案：在网络平台上建立分级惩罚制度。分级制度将惩罚与犯罪的严重程度挂钩，对不同程度的有害言论既起到威慑作用，又起到干预作用。
佐治亚理工学院研究以人为本的计算的博士生周嘉伟 (Jiawei Zhou) 表示：“我们认为，如果不让直接受到影响的人们参与进来，我们就无法解决影响社区的问题。”
“通过与专家和社区成员合作，我们确保我们的研究建立在打击煽动暴力言论的前线努力之上，同时扎根于目标社区的真实经历和需求。”
研究人员使用众包数据集训练了他们测试过的 NLP 分类器，该数据集来自一项对 120 名自认为是亚裔社区成员的参与者的调查。在调查中，参与者将来自 X（以前的 Twitter）的 1,000 条帖子标记为包含煽动暴力的言论、仇恨言论或两者都不包含。
由于暴力言论的特征并不具有普遍性，研究人员为调查参与者创建了一个专门的代码本。参与者在接受调查之前学习了代码本，并在标注时使用精简版。
为了创建代码本，该组织使用了一组初始的反亚裔关键词来扫描 2020 年 1 月至 2023 年 2 月期间 X 上的帖子。通过这种策略，他们发现了 420,000 条包含有害反亚裔语言的帖子。
研究人员随后通过新的关键词和短语筛选了这批帖子。这样就将样本精简为 4,000 个可能包含暴力内容的帖子。关键词和短语被添加到代码本中，而筛选后的帖子则用于标签调查。
该团队通过讨论和试点测试来验证其代码本。在试点测试期间，试点标记了 100 条 Twitter 帖子，以确保亚裔社区调查的设计合理。该小组还将代码本发送给 ADL 进行审查，并采纳了该组织的反馈意见。
理工大学校友 Rynaa Grover（MS CS 2024）表示：“研究网络暴力内容的主要挑战之一是有效的数据收集和汇总，因为大多数平台都会积极审核和删除明显的仇恨和暴力内容。”
“为了解决这些数据的复杂性，我们开发了一种创新的流程，以社区意识的方式处理这些数据的规模。”
对社区投入的重视延伸到了佐治亚理工学院计算机学院内部的合作。教员 Srijan Kumar 和 Munmun De Choudhury 负责监督他们的学生所带头的研究。
库马尔是计算机科学与工程学院的助理教授，也是维尔马和格罗弗的顾问。他的专长是人工智能、数据挖掘和网络安全。
De Choudhury 是交互计算学院的副教授，也是周的顾问。他们的研究将社会心理健康与社交媒体互动联系起来。
佐治亚理工学院的研究人员与 ADL 合作，ADL 是一家领先的非政府组织，致力于打击现实世界的仇恨和极端主义。ADL 研究人员 Binny Mathew 和 Jordan Kraemer 共同撰写了这篇论文。
该小组将于8 月 11 日至 16 日在泰国曼谷举行的第 62 届计算语言学协会年会 ( ACL 2024 ) 上发表其论文。
ACL 2024 接受了佐治亚理工学院研究人员撰写的 40 篇论文。在会议上接受论文的 12 名佐治亚理工学院教师中，有 9 名来自计算学院，其中包括 Kumar 和 De Choudhury。
“很高兴看到同行和研究界认识到以社区为中心的工作的重要性，这为领先语言模型的功能提供了扎实的见解，”Verma 说。
“我们希望该平台能够鼓励更多以社区为中心、以重要社会问题为视角的作品。”
更多信息： 以社区为中心的视角来描述和检测反亚裔暴力言论。claws -lab.github.io/violence -provoking-speech/
页:
[1]