【手語翻譯】IVE生開發即時手語翻譯App 電話鏡頭認手勢轉文字打破溝通隔膜

【手語翻譯】IVE生開發即時手語翻譯App 電話鏡頭認手勢轉文字打破溝通隔膜

健康資訊 醫療科技 醫療新聞
By Amber on 17 May 2021
Reporter

大多健聽人士對聽障人士使用的手語一無所知,因而造成溝通隔膜。有香港專業教育學院(IVE)畢業生開發了實時翻譯手語的手機應用程式,只需對準鏡頭,就能夠實時將手語轉為文字句子。

有香港專業教育學院(IVE)畢業生開發了實時翻譯手語的手機應用程式,只需對準鏡頭,就能夠實時將手語轉為文字句子。Photo from VTC

該翻譯手語的應用程式名為「SignChat」,是3名IVE軟件工程高級文憑畢業生的畢業習作,利用近一年時間完成。團隊成員之一的温子軒表示,小學時候曾於合唱團活學會了少許手語,現時全港有超過十五萬名聽障人士,而IVE亦鼓勵學生善用資訊科技協助社會有需要人士,於是團隊希望開發一個操作簡單的實時翻譯應用程式,協助不懂手語人士與聽障人士溝通,促進社會共融。

有別於現時常見利用感應器來分析手勢的翻譯工具「SignChat」用家只需一部備有攝錄功能的智能電話進行影像辨別。「SignChat」分為學習及繙譯兩個程式,學習程式使用立體影像追蹤技術辨識手指、手掌及手腕21個檢測點的動作,配合表情和口形分析,能有效分辨和理解不同手語,包括日常生活常用到的對話,如「早晨,你好嗎」、「我想食漢堡包」等。配合人工智能學習後,能夠記下各種手語動作。

只需對準鏡頭,就能夠實時將手語轉為文字句子。Photo from VTC

廣告
廣告

而翻譯程式則利用自然語言處理技術,能將手語所代表的字詞組合成常用詞語,或合文法的通順句子,例如「早上」和「食」的兩個手語動作,能夠譯出「早餐」。温子軒表示,為了確保翻譯準確,每一個手勢需輸入至少30至50次,儲存足夠數據運用人工智能科技進行深度學習,令應用程式辨別每一個手勢的意思。

「SignChat」於香港科技園有份舉辦的「第6屆香港大學生創新及創業大賽」中,獲得創新項目資訊技術組別的三等獎。負責指導的IVE沙田院校資訊科技系署理高級講師郭譽豪指,程式現時能夠翻譯40至50組詞語,目標是今年內增加到約100組,計劃先制定與常見場景有關有詞語,如醫院、交通工具,之後亦會聯絡社福機構試用和驗證程式的可靠度,期望盡快推出市面。

Text:UrbanLifeHealthEditorial
Photos、Source:VTC

📍 Follow我們的IG urbanlife.hk

🔔 訂閱我們的 Youtube頻道 UrbanLifeHealth生活新態度


Share to Facebook
Our Videos
官方影片
You may also like
你可能也喜歡
【睪丸破裂】中學生騎電動自行車失控「撞爆蛋蛋」 一邊睪丸嚴重梗塞須立即做手術切除
焦點新聞
11 hours ago
【睪丸破裂】中學生騎電動自行車失控「撞爆蛋蛋」 一邊睪丸嚴重梗塞須立即做手術切除
【遺愛人間】18歲少女剛考上大學撞車腦死 父母延續生前意願捐器官救6人
焦點新聞
11 hours ago
【遺愛人間】18歲少女剛考上大學撞車腦死 父母延續生前意願捐器官救6人
【患難見真情】金宇彬、申敏兒愛情長跑7年依然甜蜜!事業高峰期停工2年攜手抗鼻咽癌令人感動
焦點新聞
13 hours ago
【患難見真情】金宇彬、申敏兒愛情長跑7年依然甜蜜!事業高峰期停工2年攜手抗鼻咽癌令人感動
因經痛而要臥床一整天 甚至推卻重要約會? 每月「經常痛」或為子宮內膜異位症 婦科檢查助揪出朱古力瘤
健康資訊
20 hours ago
因經痛而要臥床一整天 甚至推卻重要約會? 每月「經常痛」或為子宮內膜異位症 婦科檢查助揪出朱古力瘤
【0+3入境檢疫實施】6日錄5.2萬人次離港 9.30機場逾9000人次出境、創2年半新高
健康資訊
2 days ago
【0+3入境檢疫實施】6日錄5.2萬人次離港 9.30機場逾9000人次出境、創2年半新高
【新冠口服藥】港大研究:2款口服藥對輕至中症患者效果顯著 死亡率大減逾5成
健康資訊
2 days ago
【新冠口服藥】港大研究:2款口服藥對輕至中症患者效果顯著 死亡率大減逾5成
Hottest Articles
最熱文章
【罕見病】《RM》哈哈3歲女兒突患罕見病無法走路 老婆心痛發文:寧願生病的是我
焦點新聞
2 days ago
【罕見病】《RM》哈哈3歲女兒突患罕見病無法走路 老婆心痛發文:寧願生病的是我
【結節Q&A】結節是癌症先兆?還是虛驚一場?肌肉、聲帶、肺、甲狀腺、肝、乳房都會有?
醫療專欄
2 days ago
【結節Q&A】結節是癌症先兆?還是虛驚一場?肌肉、聲帶、肺、甲狀腺、肝、乳房都會有?
【抗老貼士】67歲銀髮模特兒Yazemeenah Rossi自信拍泳裝照 靠3大自然保養秘訣打造零贅肉火辣身材
焦點新聞
2 days ago
【抗老貼士】67歲銀髮模特兒Yazemeenah Rossi自信拍泳裝照 靠3大自然保養秘訣打造零贅肉火辣身材
【患難見真情】金宇彬、申敏兒愛情長跑7年依然甜蜜!事業高峰期停工2年攜手抗鼻咽癌令人感動
焦點新聞
13 hours ago
【患難見真情】金宇彬、申敏兒愛情長跑7年依然甜蜜!事業高峰期停工2年攜手抗鼻咽癌令人感動
【傳奇人物病逝】日本「摔角之神」豬木病逝享年79歲 罕見病「澱粉樣變性病」可致心肌病變無藥可治
焦點新聞
2 days ago
【傳奇人物病逝】日本「摔角之神」豬木病逝享年79歲 罕見病「澱粉樣變性病」可致心肌病變無藥可治
【醫管局專科門診】疫下積壓+人手流失 輪候時間倍增 新界西換人工膝關節等8.5年
健康資訊
3 days ago
【醫管局專科門診】疫下積壓+人手流失 輪候時間倍增 新界西換人工膝關節等8.5年