基于視覺的實時手勢識別系統(tǒng)研究與開發(fā).pdf

1、計算機已經(jīng)涉入到現(xiàn)代人類活動中的各個方面，成為人們生活中不可替代的工具，尋求人與計算機之間自然的交互方式成為研究的熱點。手勢是一種使用肢體動作而非言語的溝通方式，使用手勢可以在兩個或多個個體間溝通信息，它在我們的社會中發(fā)揮了重要的作用。使用手勢識別算法和相應(yīng)的硬件能夠?qū)崿F(xiàn)終端用戶以一種更自然的方式與設(shè)備進(jìn)行交互。與傳統(tǒng)的用戶交互方式相比使用手勢交互在任務(wù)操作上更加高效、直接和友好，更符合人類交流習(xí)慣方便人機之間的信息交流。
　　

2、 發(fā)展基于視覺的手勢識別人機交互系統(tǒng)將為人們帶來更多的數(shù)字生活體驗。但由于手的自然度高、變化多樣、移動速度快等特性，使從視頻序列中識別手勢成為計算機視覺和行為理解的重要挑戰(zhàn)之一。
　　 本文首先討論了手勢的應(yīng)用發(fā)展方向以及國內(nèi)外手勢識別研究的現(xiàn)狀，以開發(fā)實時手勢識別系統(tǒng)為重點，研究基于視覺的手勢識別算法。手勢有不同的定義和分類方法，本文采用Quek的分類方式，定義系統(tǒng)中交互的手勢是為傳達(dá)簡單指令，并且使用手勢操作是指令式的。

3、r>　　 系統(tǒng)采集數(shù)據(jù)的設(shè)備是Kinect，這是一種能夠同時采集當(dāng)前場景信息的深度圖像和可見光圖像的設(shè)備，針對本系統(tǒng)使用的設(shè)備和開發(fā)的平臺提出了相應(yīng)的手勢跟蹤分割算法。該算法首先使用設(shè)備的SDK僅根據(jù)深度圖像即可做到實時并且準(zhǔn)確的對用戶和用戶各個關(guān)節(jié)的跟蹤。然后結(jié)合深度圖像使用閾值分割方法和可見光圖像的膚色模型，對用戶的手區(qū)域進(jìn)行分割從圖像中提取得到感興趣區(qū)域，為進(jìn)行下一步的識別工作做準(zhǔn)備。
　　 根據(jù)識別對象的不同，本文將手

4、勢分為靜態(tài)和動態(tài)手勢研究，詳細(xì)介紹了當(dāng)前研究水平下兩類手勢通常使用的特征提取方法和分類識別方法?？紤]到識別算法的有效性和識別速度，研究靜態(tài)手勢識別通過得到感興趣區(qū)域圖像，然后提取該區(qū)域的梯度方向直方圖特征。梯度方向直方圖描述子具有尺度和光照不變性，適用于靜態(tài)手勢識別。最后對提取的梯度方向直方圖特征進(jìn)行PCA降維處理獲取特征向量用于識別比對。動態(tài)手勢是從連續(xù)的視頻序列中提取的，首先將每一幀追蹤的用戶上身關(guān)節(jié)的運動信息使用四元數(shù)表示，并將四

5、元數(shù)信息根據(jù)關(guān)節(jié)的排列連接得到向量xn=(xn1，xn2，…，xn9)其中xni為第i個關(guān)節(jié)點的四元數(shù)旋轉(zhuǎn)表示，然后將每一幀的向量相連得到特征向量X=(x1，x2，…，xt，…，xT)。最后將得到的特征向量X=(x1，x2，…，xt，…，xT)與模版向量Yn=（y1n，y2n，…，ytn…，yTn），其中n＞2為模板的數(shù)量，使用動態(tài)時間規(guī)整算法與計算距離，選擇與模板最小距離值得出識別結(jié)果輸出。
　　 最后，根據(jù)系統(tǒng)設(shè)計需求定義本