对于聋哑人士来说，乘坐火车旅行可能是一场赌博——人工智能驱动的澳大利亚手语虚拟形

Josiah02

对于聋哑人士来说，坐火车旅行就像一场赌博。平常的日子里，一切都很顺利：他们乘火车到达目的地，然后继续做他们的事。
但当发生异常情况时，情况很快就会变得令人恐惧，因为大多数更新信息仅通过音频广播提供。聋哑旅客可能会错过火车，因为火车被转移到另一个站台，或者看着他们的车站飞驰而过，因为火车今天不停靠那里。在紧急情况下，当其他人都撤离后，他们也可能留在火车车厢里，不得不由车站工作人员救援。
这些例子都来自悉尼聋人的真实生活经历。但我和我的同事正在与悉尼火车公司和澳大利亚聋人社区的成员合作，开发一种先进的人工智能(AI) 手语虚拟形象，可以自动将音频公告翻译成澳大利亚手语。
我们在虚拟形象方面的工作也朝着下一步迈进：开发能够“理解”澳大利亚手语的人工智能系统。
旅程并不总是按计划进行
今年早些时候，我和同事对悉尼的三名聋哑火车旅客进行了一项试点研究。除了他们分享的有关火车旅行中可能遇到的问题的故事外，我们还了解到他们使用久经考验的策略来确保旅途顺利。
他们的策略可能和普通通勤者很相似。例如，他们会用应用程序规划行程，提前到达，并留意路标，了解是否有任何变化。
但他们也表示，他们觉得需要站在信息屏幕附近，关注最新情况，并在情况发生变化时向车站工作人员或其他乘客询问信息。他们还表示，在火车上要高度警惕，确保不会错过站台。
但这些策略并不总能确保聋哑旅客收到重要信息，包括紧急情况信息。例如，车站工作人员虽然通常会提供帮助，但有时却太忙而无法提供帮助。
最令人沮丧的情况是，其他乘客不愿意或无法提供信息，导致我们的聋哑旅客只能“随大流”。这通常意味着最终会到达错误的地方。
开发签名虚拟形象
语音转文本软件似乎是解决这些问题的简单方法。但对于许多聋哑人士来说，英语不是他们的母语，而澳大利亚手语的处理则要容易和快速得多。
我们的聋哑旅客告诉我们，在理想情况下，他们希望有现场翻译。然而，使用在站台或火车屏幕上显示的手语虚拟形象进行自动人工智能翻译，可以识别音频公告中的关键词，生成具有正确澳大利亚手语语法的句子，并将词汇库中的相应手势拼接在一起，这出于多种原因很有吸引力。
首先，它允许实时翻译使用已知词汇的公告——这与火车和车站环境相关，因为许多公告涵盖类似的主题。
其次，虚拟形象及其手势可以根据特定情况的需要进行定制，例如使用有关屏幕位置的信息来确保虚拟形象在指出出口或其他平台的同时朝着正确的方向签名。
第三，多个签名者可以将手势添加到虚拟形象的词汇表中，然后可以顺利地将它们组合在一起形成一个句子。
更重要的是，虚拟形象意味着组织自动生成的公告中无需真人作为“代言人”。这一点尤其重要，因为澳大利亚聋人群体规模小，关系紧密，如果翻译出现问题，没有人会受到任何声誉损害。
从技术角度来看，虚拟形象还能让我们确保手语的最低质量门槛。我们使用动作捕捉技术来确保词汇库中的每个手势都是准确的，动作清晰。
它还能帮助我们避免“恐怖谷效应”——一种类似人类但又略有错误的现象，让人感到不安。我们不希望看到最近人工智能产生的多指怪物。
人工智能为每个人服务
这项工作是我们朝着创建能够理解澳大利亚手语的人工智能系统这一更广泛目标迈出的一步。这种人工智能可用于帮助聋人和听力站工作人员交谈，或创建“聊天机器人亭”或基于应用程序的助手，让聋人能够以澳大利亚手语按需获取有关他们的火车旅行或其他日常任务的信息。
世界各地的手语和聋人文化都存在细微差别和复杂性，听力正常的人工智能研究人员和开发人员可能没有意识到这一点。这些细微差别和复杂性必须融入新技术中，研究人员和开发人员必须采取语言优先的方法来收集和设计人工智能数据，而不仅仅是针对聋人。
只有这样，人工智能才能满足聋人的真正需求：确保他们在日常生活的各个方面的安全和独立。