编者注 通过人工智能观看手语莎士比亚

Josiah02

一项新研究利用与参考社区的共同创作来开发一款手语机器翻译 (SLMT) 应用程序。作为方法之一，研究团队设计了一场以人工智能 (AI) 的视角观看的手语戏剧表演。
“从历史上看，聋哑人士一直被排除在自动翻译技术的发展之外，”包容和特殊教育学院（都柏林城市大学 DCU）研究员肖恩·奥博伊尔 (Shaun O'Boyle) 说道。
“这常常引起聋人社区的强烈反对和抵制，因为这些项目的设计和开发没有考虑到他们想要服务的最终用户的任何意见——结果就是没人愿意使用这项技术，造成了巨大的资金浪费，”欧洲聋人联盟（EUD）项目经理 Davy Van Landuyt 补充道。
研究团队决定颠覆传统方法。他们的研究成果发表在《科学传播杂志》上。
O'Boyle、Van Landuyt 和欧洲项目 SignON 的其他合作伙伴（包括 Vlaams GebarentaalCentrum（佛兰芒手语中心））基于这一想法设计了一种创新的共同创作方法：如果我们要将人工智能引入爱尔兰手语莎士比亚文本，我们会首先选择哪些摘录？与人工智能的这种互动使他们能够与观众建立联系并收集他们对这项技术的意见。
整个世界都是一个屏幕。图片来源：SignOn 项目
“我们认真研究了聋哑群体真正想要什么（以及同样重要的是他们不想要什么），”范兰杜伊特解释道。
“这是一次集体努力，非常有趣，”科学传播和社区参与专家奥博伊尔评论道，他与范兰杜伊特、伊丽莎白马修斯（Elizabeth Mathews）（在都柏林城市大学与奥博伊尔一起工作）等人共同撰写了这篇论文。
该项目的共同创作活动将现场戏剧表演与人工智能工具相结合，颠覆了聋人/听力障碍者与听力正常者之间的刻板印象，有助于开发 SLMT 应用程序原型。
“我们将表演与观众讨论结合起来，这样既有了焦点小组技术的元素，又融入了文化艺术、观看演出和夜间外出的背景下，”奥博伊尔解释道。
此次活动名为“全世界都是一块屏幕”，在都柏林科学周期间举行，内容包括一场以威廉·莎士比亚作品为基础的戏剧表演，由两位聋哑演员 Lianne Quigley 和 Alvean Jones 用爱尔兰手语表演，他们也是这项研究的合著者，并将莎士比亚的文本翻译成爱尔兰手语。观众包括聋哑人士、听力障碍者和听力正常者。
整个世界都是一个屏幕。
“对于聋哑人士来说，用他们自己的语言而不是英语进行表演和科学活动非常重要。在我们的表演中，翻译为听力正常的人们提供了交流的机会，”奥博伊尔解释道。
“它改变了动态，但也让人们有机会想象这些技术的未来，因为我们要求人们与他们的人工智能‘共同观众’一起观看表演。”
事实上，在演出期间，观众可以使用工具来实时分析表演者的动作、物体识别，以及实时转录翻译人员的英语翻译。
“我们收到了很多有趣的反馈，在研究项目的背景下进行这项工作的一大好处是，所有这些反馈都直接传达给了我们的团队。它告知了应用程序的使用案例，告知了我们如何谈论它，我们如何思考它，以及开发的技术的不同方面，”奥博伊尔说。
“道德方面也很重要，”Van Landuyt 补充道。
整个世界都是一个屏幕。
“聋人社区最主要的挫败感来自于一些从事这些技术的听力研究人员的态度或动机，”范兰杜伊特说，他还解释说这导致了时间和资源的浪费。
“很多时候，‘听力’正常的决策者或研究人员认为他们比聋哑人更了解情况，并试图创造一些东西，但这些东西却被这些技术的实际最终用户拒绝，仅仅是因为这不是他们想要的，甚至在实践中完全没用。例如，我想到手语手套等技术。
“仅仅将聋哑人纳入项目并不是一个结构性的解决方案。这并不意味着他们正在领导这项研究。聋哑研究人员通常只在初步想法已经构思、团队已经建立、研究已经开展，甚至在项目即将结束时才被要求合作，”他补充道。
通过与聋人社区进行真正的共同创造和科学交流，可以缓解这种情况。“我们无法阻止这些技术的发展，所以我们需要想办法应对它们。聋人能够自己做决定是至关重要的，”范兰杜伊特总结道。“没有我们，就没有我们。”