近日，清華大學機械工程系智能與生物機械團隊和中科院北京納米能源與系統(tǒng)研究所團隊合作，研發(fā)出了一種新穎的唇語解讀系統(tǒng)，相關(guān)研究成果在線發(fā)表在《自然·通訊》期刊上。

該系統(tǒng)包含基于原型學習的深度學習模型和低成本、自供電的柔性摩擦電傳感器。傳感器能夠把唇部肌肉運動產(chǎn)生的電信號傳輸?shù)浇獯a系統(tǒng)中，再將電信號轉(zhuǎn)化為用于溝通交流的語言。這項研究測試分析了傳感器的機械和電氣性能，采集并提取了選定元音、單詞、短語、無聲語音和發(fā)聲語音的唇動信號特征，并證實無論是否發(fā)聲，嘴唇的運動和電信號都具有一致性。

在探究語速和唇動模式等不同參數(shù)對信號特征的影響規(guī)律中，研究團隊提出了一種基于原型學習的空洞循環(huán)神經(jīng)網(wǎng)絡(luò)模型，用于唇動信號的識別，在20個分類（100樣本/類）情況下測試準確率達到94.5%。柔性摩擦點傳感器使用柔性聚合物薄膜和柔性電極，人體佩戴舒適，在多種場景中應用時，如移動模型車的方向控制、解鎖大門的身份識別等，該系統(tǒng)都具備良好的可行性。

聲帶損傷或失聲的人群，在日常交流中，常用到手語和唇語，手語卻不是每個聽眾都能看明白的。清華大學團隊的這項發(fā)明，通過解讀唇語來幫助失聲人群的溝通交流，具有廣闊的前景，團隊相關(guān)負責人表示，這項技術(shù)還面臨系統(tǒng)穩(wěn)定性、可靠性的問題，將會繼續(xù)深入研究，有望為失聲人群切實提供無障礙語言交流的科技手段。