【手語翻譯】IVE生開發即時手語翻譯App 電話鏡頭認手勢轉文字打破溝通隔膜

【手語翻譯】IVE生開發即時手語翻譯App 電話鏡頭認手勢轉文字打破溝通隔膜

健康資訊 醫療新聞 醫療科技
ByAmber on 17 May 2021 Reporter

大多健聽人士對聽障人士使用的手語一無所知,因而造成溝通隔膜。有香港專業教育學院(IVE)畢業生開發了實時翻譯手語的手機應用程式,只需對準鏡頭,就能夠實時將手語轉為文字句子。

有香港專業教育學院(IVE)畢業生開發了實時翻譯手語的手機應用程式,只需對準鏡頭,就能夠實時將手語轉為文字句子。
Photo from VTC

該翻譯手語的應用程式名為「SignChat」,是3名IVE軟件工程高級文憑畢業生的畢業習作,利用近一年時間完成。團隊成員之一的温子軒表示,小學時候曾於合唱團活學會了少許手語,現時全港有超過十五萬名聽障人士,而IVE亦鼓勵學生善用資訊科技協助社會有需要人士,於是團隊希望開發一個操作簡單的實時翻譯應用程式,協助不懂手語人士與聽障人士溝通,促進社會共融。

有別於現時常見利用感應器來分析手勢的翻譯工具「SignChat」用家只需一部備有攝錄功能的智能電話進行影像辨別。「SignChat」分為學習及繙譯兩個程式,學習程式使用立體影像追蹤技術辨識手指、手掌及手腕21個檢測點的動作,配合表情和口形分析,能有效分辨和理解不同手語,包括日常生活常用到的對話,如「早晨,你好嗎」、「我想食漢堡包」等。配合人工智能學習後,能夠記下各種手語動作。

只需對準鏡頭,就能夠實時將手語轉為文字句子。
Photo from VTC

廣告
廣告

而翻譯程式則利用自然語言處理技術,能將手語所代表的字詞組合成常用詞語,或合文法的通順句子,例如「早上」和「食」的兩個手語動作,能夠譯出「早餐」。温子軒表示,為了確保翻譯準確,每一個手勢需輸入至少30至50次,儲存足夠數據運用人工智能科技進行深度學習,令應用程式辨別每一個手勢的意思。

「SignChat」於香港科技園有份舉辦的「第6屆香港大學生創新及創業大賽」中,獲得創新項目資訊技術組別的三等獎。負責指導的IVE沙田院校資訊科技系署理高級講師郭譽豪指,程式現時能夠翻譯40至50組詞語,目標是今年內增加到約100組,計劃先制定與常見場景有關有詞語,如醫院、交通工具,之後亦會聯絡社福機構試用和驗證程式的可靠度,期望盡快推出市面。

Text:UrbanLifeHealthEditorial
Photos、Source:VTC

📍 Follow我們的IG urbanlife.hk
Share to Facebook