身體殘障有口難言 「眼睩睩」傳情達意

文章日期:2022年03月08日

【明報專訊】電腦和互聯網科技令人與人的溝通更便捷,打字、錄音,甚至語音變文字,就可以把自己的想法送到千里之外。但有口難言、身體殘障的病人,連近在咫尺的人都難以溝通。中文大學研發人工智能技術,為口齒不清的構音障礙症病人做「翻譯」,為四肢癱瘓病人發送信息。

技術1:眼動AAC系統

如果不能說話,可以用文字、手語溝通;但如果手腳也不能活動,怎麼辦呢?香港中文大學博智感知交互研究中心(Centre for Perceptual and Interactive Intelligence ,簡稱CPII)研究項目「言語及語言智能」的其中一個研究計劃,希望以科技為這些人「發言」。「我見過有些同學仔雖然身體動不了,但他們眼睛很『精靈』,想表達自己,卻礙於身體殘障做不到。」中大信息工程學系客座助理教授、CPII首席研究員陳苑茵發現,一些嚴重智障學童面對着這些困難,於是與團隊開展研究眼動AAC系統。

改良觸控電子版溝通簿

早於2014年,陳苑茵參加一個AAC講座,認識到有些人有溝通困難,「當時就想,既然我是信息工程系出身,學習communication engineering(通訊工程),能否學有所用呢」?於是她開始投入AAC電子化研究。

陳與康復機構香港耀能協會合作,研發「通話易」通訊應用程式(圖e),系統內有不同圖卡,可組成句子,並可以發聲;更運用雲端輔助通訊技術,使用者可與親友即時通話。程式獲得香港資訊及通訊科技獎2020︰智慧市民(智慧共融)獎金獎。

陳留意到,使用傳統AAC圖卡,使用者往往只選一張卡,但變成應用程式後,就會很踴躍一次選多張卡。

度身訂做數據庫

不過,在「通話易」測試期間,腦麻痹患者因手腳不靈活而無法使用觸控式AAC,一些嚴重智障學童亦有類似困難,促使陳苑茵開發眼動AAC。首先要建立一個AAC數據庫,團隊蒐集資料是靠逐一查訪照顧者,了解使用者平日活動和想法,雖然方法並不high-tech,但有度身訂做的效果。團隊成員林泓江和王偉忠表示,系統平台建設後,要花相當多時間和心思與照顧者和使用者溝通,仔細調整內容和設置,才能切合使用者需要;中大醫學院耳鼻咽喉頭頸外科學系副教授、言語治療科主管李月裳亦擔任項目共同研究員(co-investigator),在研發過程中提供專業意見。

眼球輸入圖示 化作真人發聲

眼動AAC 結合眼動儀技術和電子化AAC系統,以眼球活動為輸入方法,讓使用者以AAC卡或文字表達自己。

1.舉例:在學校,學生(使用者)可透過系統與教師溝通。系統主頁問「你今日想做什麼」,有4個活動選擇。圓形游標會跟着使用者視線移動,直至他望定圖示就能揀選該選項。選擇後會有真人發聲讀出內容(圖a)

2.如選「講故事畀我聽」,就會進入「你想聽什麼故事?」頁面,可選擇不同故事(圖b),然後再選地點等,諸如此類

3.最後選「Gogogo!」學生與教師便完成了一個完整溝通。陳指,「之前教師不會給學生選擇,有了這個系統,學生便可以表達自己的意願。另外,還設計了家用版」

文:李欣敏、植蔚卿

編輯:梁小玲

facebook @明報副刊

電郵:feature@mingpao.com

RELATED