默默有声

人工智能为本的手语学习,构建共融世界

现时全球每一千名初生婴儿中,就有一名患有听障。手语不仅是聋人沟通时打的手势,有独特的语言系统和文化。家中有聋人的健听人士学习手语,有助于打破聋健沟通隔膜。

健听人士通常难以掌握手语语法的细微差别,包括手掌与手指的协调、面部表情、头部位置和嘴形,任何误读都会影响讯息传递。一般人或认为以纸笔交流或文字讯息已可满足聋健沟通需要,但中大手语及聋人研究中心副主任施婉萍教授却不以为然。

她认为聋人要掌握书面语并不容易,因为手语语法与中文语法不同,「中文句子『我没有书』,在手语中则表达为『我书没有』,若要不谙中文读写的聋人按中文语法表达手语,犹如要常人按英文语法表达中文。」因此,要体现真正的共融社会,务必要理解聋人的沟通需要。

手语及聋人研究中心施婉萍教授(右)及郑家耀先生领导中大研究团队与合作伙伴开发手语识别系统

寓手语学习于游戏

中大与Google、日本财团和关西学院大学连手推出「手语村」,是全球首个结合人工智能和手语语言学理论的多语言网络游戏。游戏应用人工智能机器学习,可识别3D手语动作,让玩家在在线轻松学习香港和日本手语。

观看短片,了解「手语村」的详情

「手语村」虚拟小镇以手语为官方语言,玩家进入小镇后,须于计算机镜头前打手语,并完成各种日常生活任务,包括准备旅行用品、寻找住宿、在咖啡室点餐等。游戏开始时,屏幕上会出现两个窗口,显示两个与任务相关的手语动作,由玩家任选其一并在镜头前模仿该动作,人工智能识别系统会实时评估和响应玩家打手语的准确度。「手语村」的卡通人物「手形」更会不时现身,向玩家讲解「手语」、「聋人」和「聋人文化」的定义及概念。

「手语村」是「Shuwa计划」的首个国际跨学科协作项目,由中大、Google、日本合作伙伴共同策划,并于2021年9月23日「国际手语日」推出,旨在活用先进科技打破聋健沟通隔膜。Shuwa是日语汉字「手话」的拼音,意即手语。

人工智能侦测手语动作

以往的手语识别技术难以分析视觉及姿势语言讯息,未能精准解读手语。手语除了手部动作,身体动作、面部表情、嘴形等在手语语法中同样重要,忽略任何细微特征,都可导致手语不合文法或无法诠释。

虽然世界各地的手语有所不同,但当中的语言特征如手形、方向、动作等却是相通的,而且组合变化有限,可以透过计算机识别。由于手语是3D空间运动,包括上下左右移动以及前后深度,以往手语识别需要采用特殊3D摄像镜头和带传感器的手套等复杂设备,令技术难以普及。

玩家选择答案后,于镜头前模仿并打出相关手语

「Shuwa计划」团队解决了旧有技术的不足,成功研发首个机器学习模型,可透过一般摄影镜头识别、追踪及分析不同肢体信息,包括3D手部和肢体动作,以及面部表情特征,将其应用在「手语村」。现时,玩家可选择香港及日本手语,团队计划日后会加入其他地区的手语。

中大手语及聋人研究中心为「Shuwa计划」提供手语语言学专业知识及香港手语语法特征,以训练机器学习模型识别手语。施教授说:「我们应用手语语言学研究所得,帮助协作伙伴研发可自动识别手语的工具,让玩家实时知道自己能否打出准确的手语。」

计划的下一步是创建包含搜索功能的手语词典平台,透过人工智能技术协助用户学习和纪录手语。团队冀开发一个自动翻译模型,利用计算机或智能手机常用的镜头识别手语中的自然对话,将其翻译为口语。

关西学院大学手语研究中心主任松冈克尚教授表示:「我们很高兴能够参与『Shuwa计划』的技术开发,盼望将来或可开发为医疗界和法律界专家而设的手语学习工具。这些新发明都非常值得我们探索。」

人工智能识别工具正在追踪玩家的身体姿势

施教授说:「我们的长远目标是建设一个无障碍社会,能够真正包容聋人和惠及手语交流人士。虽然长路漫漫,但『手语村』无分疆界,提供学习和了解手语的机会,打开了首道手语沟通之门。」未来,「手语村」将加入不同国家的手语,各地玩家不仅可以学到更多手语,亦能分辨它们之间的差异。科技不断推陈出新,有利于建构包容及和谐的社会,让人人享有平等机会。

文/Jenny Lau
原文刊于《吐露.永续》

分享文章:

Share on facebook
Share on twitter
Share on linkedin
Share on telegram
Share on email

你有想说的故事吗?

《走进中大》园地公开,鼓励大学各部门及成员投稿,分享有意义、富趣味的内容。

无论你是学生、教师还是职员, 欢迎踊跃来稿!

截稿日期详看这里

(来稿采用与否,《走进中大》拥有最终决定权,并有权删改来稿及决定刊登时间。)