基于認(rèn)知行為模型的語義手勢識(shí)別算法與應(yīng)用研究.pdf

1、近年來，人機(jī)交互日趨成為國內(nèi)外研究的熱點(diǎn)之一。用戶與虛擬系統(tǒng)的交互也成為人們探索的重點(diǎn)。人手作為人類交流的一種重要方式，自然而然成為科學(xué)家們的興趣點(diǎn)之一。如何通過人手指令信息與虛擬系統(tǒng)進(jìn)行交互是一項(xiàng)重要的研究課題。傳統(tǒng)的人機(jī)交互多借助于諸如數(shù)據(jù)手套、位置跟蹤儀之類的外部設(shè)備進(jìn)行交互。這些交互方式比較笨重繁瑣，限制了人類的交互自由，違背了人類自然交互的意愿。
　　基于視覺的手勢交互通過對自然人手的動(dòng)作信息進(jìn)行捕捉完成同虛擬系統(tǒng)的交互

2、任務(wù)?；谝曈X的手勢交互一般僅需要一個(gè)或者多個(gè)攝像頭來記錄手勢信息，人手不需要佩戴其他電子設(shè)備，擺脫了可穿戴式電子設(shè)備的束縛。基于視覺的手勢交互研究一般包括手勢分割、跟蹤、特征提取和識(shí)別四個(gè)部分。手勢識(shí)別在人機(jī)交互領(lǐng)域占有十分重要的地位。準(zhǔn)確的手勢識(shí)別能夠保證交互的順利進(jìn)行。
　　本論文依托國家自然科學(xué)基金(No.61173079)“基于認(rèn)知機(jī)理和手勢動(dòng)畫的三維人機(jī)交互界面研究”和山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(No.ZR2011FZ

3、003)“面向自然人手跟蹤的3D人機(jī)交互界面中的關(guān)鍵問題研究”項(xiàng)目基金的支持，對單目攝像頭條件下的手勢識(shí)別問題進(jìn)行了研究。具體研究內(nèi)容如下:
　　(1)建立了基于單目攝像頭的虛擬裝配平臺(tái)。主要運(yùn)用OpenGL、OpenCV、3DMAX等技術(shù)實(shí)現(xiàn)該裝配平臺(tái)的搭建與組裝。通過攝像頭獲取人手的圖像信息，虛擬系統(tǒng)接收到人手圖像信息后對其進(jìn)行分析處理，并根據(jù)得出的手勢分析結(jié)果作出相應(yīng)的交互反應(yīng)。
　　(2)手勢分割和特征提取是手勢識(shí)別

4、的重要前提。本文對RGB空間下獲取的手勢膚色特征進(jìn)行高斯建模，采用訓(xùn)練好的高斯模型進(jìn)行手勢分割。特征提取方面，我們使用了基于二值圖像的密度分布特征方法和輪廓點(diǎn)檢測方法進(jìn)行提取。密度分布特征的方法具有平移不變性、縮放不變性和旋轉(zhuǎn)不變形的優(yōu)點(diǎn)，輪廓點(diǎn)檢測的方法能夠?qū)⒅讣庥行У靥崛〕鰜?，從而得到比較準(zhǔn)確的手勢圖像特征參數(shù)。
　　(3)本文提出了兩種語義手勢識(shí)別方法:區(qū)間比例算法和圖像融合法。首先提出了一種語義手勢的概念，并對其進(jìn)行了簡單

5、的分類。區(qū)間比例方法通過對手勢圖像的有效分區(qū)獲得有效特征，并采用歐氏距離的方法進(jìn)行手勢識(shí)別;圖像融合法則是將語義手勢的所有動(dòng)態(tài)圖像信息融合在一幅圖像中，通過對一幅靜態(tài)圖的識(shí)別完成語義手勢的識(shí)別。這兩種方法都有令人滿意的識(shí)別效果。
　　(4)本文將認(rèn)知心理學(xué)的相關(guān)理論成果用于本文的研究，提出了一種認(rèn)知行為模型進(jìn)行語義手勢的識(shí)別。首先，分析本文建立的虛擬雪人裝配場景，設(shè)置手勢的識(shí)別點(diǎn)，選用大量的實(shí)驗(yàn)者來獲取認(rèn)知信息，并訓(xùn)練基于該交互場