基于多傳感器信息檢測和融合的手語手勢識別研究.pdf

1、手語是聾啞人之間進行日常交流的主要方式之一。手語識別研究能夠使聾啞人與外界交流更為便捷。隨著計算機性能的逐步提高，近年來自然的人機交互逐漸成為一個研究熱點。通過自然的人機交互系統(tǒng)，人們可以利用聲音、表情、手勢等人類自然語言與計算機進行交互，實現(xiàn)類似于人類之間的自然交互方式。手語手勢識別研究對提高計算機的人類語言理解水平和發(fā)展多模式人機接口技術具有重要意義。
　　 手語通過手的形狀、位置、運動、朝向利面部表情等通道表達特定的信息。

2、表面肌電(surface electromyography，SEMG)電極、加速計(accelerometer，ACC)和攝像頭能夠從不同角度捕獲這些信息。比如視覺和ACC信號可以從不同側面刻畫手勢的空問運動軌跡，SEMG可以通過檢測肌肉收縮獲得精細手指運動信息。因此，我們相信多傳感器信息檢測和融合技術能夠提高識別精度和可識別手勢動作種類。
　　 為了檢測手語中包含的豐富信息，本文提出了一種基于多傳感器信息檢測和融合的手語手勢

3、識別方法，以提高多類手語手勢動作的識別率和擴展可識別詞匯量。
　　 本文主要的研究內(nèi)容和研究成果有：
　　 (1)多傳感器信號的活動段分割。提出了基于64點移動平均窗的包括SEMG、ACC和視覺二種傳感器信號的同步活動段檢測方法。僅利用SEMG信號的幅值變化信息就能同步提取出二種信號的活動段，減少了檢測的工作量。
　　 (2)基于動靜態(tài)要素的動態(tài)手勢識別研究。從手勢的空間形態(tài)上對手勢進行了分析研究。將動態(tài)手勢拆分

4、為動態(tài)要素和靜態(tài)要素識別單元，分別利用ACC與視覺軌跡信號和SEMG信號進行描述，采用多流隱馬爾可夫(Hidden MarkovModels，HMM)建模識別并進行整合。實驗結果表明所提方法縮短了訓練和識別時間，提高了識別率。
　　 (3)提出了一種基于多級分類融合策略的中國手語識別方法。首先利用SEMG信號的幅值信息實現(xiàn)單雙手詞的劃分，然后借助視覺信號實現(xiàn)雙手詞中有遮擋和無遮擋的劃分，最后利用Sugeno模糊積分對SEMG、

5、ACC利視覺二種信號提供的局部決策進行融合，得到識別結果。該方法充分利用不同類型傳感器在手語信息檢測方面的優(yōu)勢，從而提高手語的識別率，增加識別種類。針對201個高頻手語詞，三個受試者的識別率均在99％以上。
　　 (4)基于Visual C++和OpenCV技術，構建了一個能夠同步獲取SEMG、ACC和視覺二種信號的數(shù)據(jù)采集跟蹤系統(tǒng)。采用多線程技術，實現(xiàn)采集、顯示和保存的同步進行；利用系統(tǒng)內(nèi)部嵌入的Camshift運動跟蹤算法模