【手語翻譯】IVE生開發即時手語翻譯App　電話鏡頭認手勢轉文字打破溝通隔膜

By Amber on 17 May 2021

Reporter

大多健聽人士對聽障人士使用的手語一無所知，因而造成溝通隔膜。有香港專業教育學院（IVE）畢業生開發了實時翻譯手語的手機應用程式，只需對準鏡頭，就能夠實時將手語轉為文字句子。

Photo from VTC

該翻譯手語的應用程式名為「SignChat」，是3名IVE軟件工程高級文憑畢業生的畢業習作，利用近一年時間完成。團隊成員之一的温子軒表示，小學時候曾於合唱團活學會了少許手語，現時全港有超過十五萬名聽障人士，而IVE亦鼓勵學生善用資訊科技協助社會有需要人士，於是團隊希望開發一個操作簡單的實時翻譯應用程式，協助不懂手語人士與聽障人士溝通，促進社會共融。

有別於現時常見利用感應器來分析手勢的翻譯工具「SignChat」用家只需一部備有攝錄功能的智能電話進行影像辨別。「SignChat」分為學習及繙譯兩個程式，學習程式使用立體影像追蹤技術辨識手指、手掌及手腕21個檢測點的動作，配合表情和口形分析，能有效分辨和理解不同手語，包括日常生活常用到的對話，如「早晨，你好嗎」、「我想食漢堡包」等。配合人工智能學習後，能夠記下各種手語動作。

Photo from VTC

而翻譯程式則利用自然語言處理技術，能將手語所代表的字詞組合成常用詞語，或合文法的通順句子，例如「早上」和「食」的兩個手語動作，能夠譯出「早餐」。温子軒表示，為了確保翻譯準確，每一個手勢需輸入至少30至50次，儲存足夠數據運用人工智能科技進行深度學習，令應用程式辨別每一個手勢的意思。

「SignChat」於香港科技園有份舉辦的「第6屆香港大學生創新及創業大賽」中，獲得創新項目資訊技術組別的三等獎。負責指導的IVE沙田院校資訊科技系署理高級講師郭譽豪指，程式現時能夠翻譯40至50組詞語，目標是今年內增加到約100組，計劃先制定與常見場景有關有詞語，如醫院、交通工具，之後亦會聯絡社福機構試用和驗證程式的可靠度，期望盡快推出市面。