基于Kinect的中國手語識別方法研究.pdf

1、隨著多模式人機交互技術的發(fā)展，手語識別的研究也得到了越來越多的重視。然而傳統(tǒng)的、基于計算機視覺的手語識別技術很難實時捕獲手的姿勢和位置。2010年11月微軟推出Kinect作為Xbox360游戲主機的游戲“手柄”。Kinect憑借其能夠獲得人體深度圖像，輕松進行人體主要骨骼關節(jié)點和手的三維特征的跟蹤和分割等優(yōu)勢，在人機交互領域得到廣泛的應用。本文基于Kinect平臺，利用Kinect能夠同時獲取人體主要骨骼關節(jié)點和手的三維特征等優(yōu)勢，對

2、中國手語識別方法進行了研究，重點研究了手語基元提取方法和利用手語基元進行手語識別的方法。主要研究內(nèi)容包括：
　　 ⑴提出了基于不同的聚類方法的手語基元提取方法。該方法采用聚類分析方法，將手語特征中的相同或者相似部分進行聚合形成基元。根據(jù)Kinect獲得手語的手型、位置和方向特征的不同，分別采用DBSCAN和K-means聚類算法提取位置基元和方向基元，并提出一種結合CLTree和Attribute bagging聚類集成算法提取

3、手型基元。實驗證明本文提出的手語基元提取方法是有效的、可行的。
　　 ⑵提出基于形狀匹配算法（Shape Context）和高斯混合模型(GMM，Gaussian Mixture Model)的中國手語識別方法。該方法通過采用Shape Context算法計算待測手型特征與手型基元的匹配度來識別待測手型。然后利用lineardiscriminant classifier(LDC)對位置基元和方向基元進行訓練，構成位置分類器和方向

4、分類器，再以位置分類器和方向分類器為基礎建立GMM模型來識別待測手語的位置和方向。最后通過集成手型、位置和方向的識別結果來識別中國手語。實驗結果表明該方法不僅能夠接近精密儀器的識別水平，而且具有非侵入式的優(yōu)點和較高的實時性。
　　 ⑶設計并實現(xiàn)了一個基于Kinect的中國手語識別原型系統(tǒng)。該系統(tǒng)能從Kinect采集人體主要骨骼的3D坐標和手的3D坐標，提取手語特征和手語基元，最后對手語進行識別并給出響應。經(jīng)實際測試，該系統(tǒng)能在不