蘇報(bào)訊(記者 袁藝)近日,新加坡國立大學(xué)蘇州研究院智慧醫(yī)療技術(shù)卓越研究中心高級(jí)研究員李正國團(tuán)隊(duì)在國際頂尖學(xué)術(shù)期刊《自然·通訊》上發(fā)表科研成果。李正國團(tuán)隊(duì)成功研發(fā)了一種基于摩擦電手套的手語識(shí)別和交流系統(tǒng),該系統(tǒng)在人工智能的輔助下,不僅實(shí)現(xiàn)了普遍的多個(gè)手語單詞識(shí)別,還能對(duì)句子特別是未經(jīng)人工智能訓(xùn)練的新句子進(jìn)行解析與翻譯,滿足語言、聽覺障礙者高頻率使用句子的日常交流需求,提高了手語識(shí)別系統(tǒng)的實(shí)用性。
李正國團(tuán)隊(duì)研發(fā)的系統(tǒng)包括摩擦電傳感手套、深度學(xué)習(xí)模塊和用戶界面。作為演示,該系統(tǒng)實(shí)現(xiàn)了對(duì)50個(gè)單詞和20個(gè)句子的獨(dú)立識(shí)別,在非分割框架內(nèi),其準(zhǔn)確率分別高達(dá)91.3%和95%。此外,為了克服無法識(shí)別未經(jīng)訓(xùn)練的新句子的局限,分割法將數(shù)據(jù)集內(nèi)的句子信號(hào)劃分為單詞片段,深度學(xué)習(xí)模型則負(fù)責(zé)記憶所有出現(xiàn)過的單詞單元。同時(shí)在虛擬現(xiàn)實(shí)界面上,語言、聽力障礙者可以直接使用手語與非手語使用者進(jìn)行互動(dòng),非手語使用者則能直接打字參與交流。“除了提升語言、聽力障礙者的社會(huì)參與程度,此項(xiàng)技術(shù)也可應(yīng)用于殘疾人輔助設(shè)備、醫(yī)療健康等領(lǐng)域,助力以人為本的物聯(lián)網(wǎng)建設(shè)。”李正國說。
標(biāo)簽: 蘇州學(xué)者團(tuán)隊(duì)在《自然》子刊再發(fā)科研成果 實(shí)用手語可整