默默有聲

人工智能為本的手語學習,構建共融世界

現時全球每一千名初生嬰兒中,就有一名患有聽障。手語不僅是聾人溝通時打的手勢,有獨特的語言系統和文化。家中有聾人的健聽人士學習手語,有助於打破聾健溝通隔膜。

健聽人士通常難以掌握手語語法的細微差別,包括手掌與手指的協調、面部表情、頭部位置和嘴形,任何誤讀都會影響訊息傳遞。一般人或認為以紙筆交流或文字訊息已可滿足聾健溝通需要,但中大手語及聾人研究中心副主任施婉萍教授卻不以為然。

她認為聾人要掌握書面語並不容易,因為手語語法與中文語法不同,「中文句子『我沒有書』,在手語中則表達為『我書沒有』,若要不諳中文讀寫的聾人按中文語法表達手語,猶如要常人按英文語法表達中文。」因此,要體現真正的共融社會,務必要理解聾人的溝通需要。

手語及聾人研究中心施婉萍教授(右)及鄭家耀先生領導中大研究團隊與合作夥伴開發手語識別系統

寓手語學習於遊戲

中大與Google、日本財團和關西學院大學聯手推出「手語村」,是全球首個結合人工智能和手語語言學理論的多語言網絡遊戲。遊戲應用人工智能機器學習,可識別3D手語動作,讓玩家在線上輕鬆學習香港和日本手語。

觀看短片,了解「手語村」的詳情

「手語村」虛擬小鎮以手語為官方語言,玩家進入小鎮後,須於電腦鏡頭前打手語,並完成各種日常生活任務,包括準備旅行用品、尋找住宿、在咖啡室點餐等。遊戲開始時,螢幕上會出現兩個視窗,顯示兩個與任務相關的手語動作,由玩家任選其一並在鏡頭前模仿該動作,人工智能識別系統會即時評估和回應玩家打手語的準確度。「手語村」的卡通人物「手形」更會不時現身,向玩家講解「手語」、「聾人」和「聾人文化」的定義及概念。

「手語村」是「Shuwa計劃」的首個國際跨學科協作項目,由中大、Google、日本合作夥伴共同策劃,並於2021年9月23日「國際手語日」推出,旨在活用先進科技打破聾健溝通隔膜。Shuwa是日語漢字「手話」的拼音,意即手語。

人工智能偵測手語動作

以往的手語識別技術難以分析視覺及姿勢語言訊息,未能精準解讀手語。手語除了手部動作,身體動作、面部表情、嘴形等在手語語法中同樣重要,忽略任何細微特徵,都可導致手語不合文法或無法詮釋。

雖然世界各地的手語有所不同,但當中的語言特徵如手形、方向、動作等卻是相通的,而且組合變化有限,可以透過電腦識別。由於手語是3D空間運動,包括上下左右移動以及前後深度,以往手語識別需要採用特殊3D攝像鏡頭和帶傳感器的手套等複雜設備,令技術難以普及。

玩家選擇答案後,於鏡頭前模仿並打出相關手語

「Shuwa計劃」團隊解決了舊有技術的不足,成功研發首個機器學習模型,可透過一般攝影鏡頭識別、追蹤及分析不同肢體信息,包括3D手部和肢體動作,以及面部表情特徵,將其應用在「手語村」。現時,玩家可選擇香港及日本手語,團隊計劃日後會加入其他地區的手語。

中大手語及聾人研究中心為「Shuwa計劃」提供手語語言學專業知識及香港手語語法特徵,以訓練機器學習模型識別手語。施教授說:「我們應用手語語言學研究所得,幫助協作夥伴研發可自動識別手語的工具,讓玩家實時知道自己能否打出準確的手語。」

計劃的下一步是創建包含搜索功能的手語詞典平台,透過人工智能技術協助用戶學習和紀錄手語。團隊冀開發一個自動翻譯模型,利用電腦或智能手機常用的鏡頭識別手語中的自然對話,將其翻譯為口語。

關西學院大學手語研究中心主任松岡克尚教授表示:「我們很高興能夠參與『Shuwa計劃』的技術開發,盼望將來或可開發為醫療界和法律界專家而設的手語學習工具。這些新發明都非常值得我們探索。」

人工智能識別工具正在追蹤玩家的身體姿勢

施教授說:「我們的長遠目標是建設一個無障礙社會,能夠真正包容聾人和惠及手語交流人士。雖然長路漫漫,但『手語村』無分疆界,提供學習和了解手語的機會,打開了首道手語溝通之門。」未來,「手語村」將加入不同國家的手語,各地玩家不僅可以學到更多手語,亦能分辨它們之間的差異。科技不斷推陳出新,有利於建構包容及和諧的社會,讓人人享有平等機會。

文/Jenny Lau
文刊於《吐露.永續》

分享文章:

Share on facebook
Share on twitter
Share on linkedin
Share on telegram
Share on email

你有想說的故事嗎?

《走進中大》園地公開,鼓勵大學各部門及成員投稿,分享有意義、富趣味的內容。

無論你是學生、教師還是職員,歡迎踴躍來稿

截稿日期詳看這裏

(來稿採用與否,《走進中大》擁有最終決定權,並有權刪改來稿及決定刊登時間。)