基于認(rèn)知行為模型的語(yǔ)義手勢(shì)識(shí)別算法與應(yīng)用研究.pdf

1、近年來(lái)，人機(jī)交互日趨成為國(guó)內(nèi)外研究的熱點(diǎn)之一。用戶(hù)與虛擬系統(tǒng)的交互也成為人們探索的重點(diǎn)。人手作為人類(lèi)交流的一種重要方式，自然而然成為科學(xué)家們的興趣點(diǎn)之一。如何通過(guò)人手指令信息與虛擬系統(tǒng)進(jìn)行交互是一項(xiàng)重要的研究課題。傳統(tǒng)的人機(jī)交互多借助于諸如數(shù)據(jù)手套、位置跟蹤儀之類(lèi)的外部設(shè)備進(jìn)行交互。這些交互方式比較笨重繁瑣，限制了人類(lèi)的交互自由，違背了人類(lèi)自然交互的意愿。
　　基于視覺(jué)的手勢(shì)交互通過(guò)對(duì)自然人手的動(dòng)作信息進(jìn)行捕捉完成同虛擬系統(tǒng)的交互

2、任務(wù)?；谝曈X(jué)的手勢(shì)交互一般僅需要一個(gè)或者多個(gè)攝像頭來(lái)記錄手勢(shì)信息，人手不需要佩戴其他電子設(shè)備，擺脫了可穿戴式電子設(shè)備的束縛。基于視覺(jué)的手勢(shì)交互研究一般包括手勢(shì)分割、跟蹤、特征提取和識(shí)別四個(gè)部分。手勢(shì)識(shí)別在人機(jī)交互領(lǐng)域占有十分重要的地位。準(zhǔn)確的手勢(shì)識(shí)別能夠保證交互的順利進(jìn)行。
　　本論文依托國(guó)家自然科學(xué)基金(No.61173079)“基于認(rèn)知機(jī)理和手勢(shì)動(dòng)畫(huà)的三維人機(jī)交互界面研究”和山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(No.ZR2011FZ

3、003)“面向自然人手跟蹤的3D人機(jī)交互界面中的關(guān)鍵問(wèn)題研究”項(xiàng)目基金的支持，對(duì)單目攝像頭條件下的手勢(shì)識(shí)別問(wèn)題進(jìn)行了研究。具體研究?jī)?nèi)容如下:
　　(1)建立了基于單目攝像頭的虛擬裝配平臺(tái)。主要運(yùn)用OpenGL、OpenCV、3DMAX等技術(shù)實(shí)現(xiàn)該裝配平臺(tái)的搭建與組裝。通過(guò)攝像頭獲取人手的圖像信息，虛擬系統(tǒng)接收到人手圖像信息后對(duì)其進(jìn)行分析處理，并根據(jù)得出的手勢(shì)分析結(jié)果作出相應(yīng)的交互反應(yīng)。
　　(2)手勢(shì)分割和特征提取是手勢(shì)識(shí)別

4、的重要前提。本文對(duì)RGB空間下獲取的手勢(shì)膚色特征進(jìn)行高斯建模，采用訓(xùn)練好的高斯模型進(jìn)行手勢(shì)分割。特征提取方面，我們使用了基于二值圖像的密度分布特征方法和輪廓點(diǎn)檢測(cè)方法進(jìn)行提取。密度分布特征的方法具有平移不變性、縮放不變性和旋轉(zhuǎn)不變形的優(yōu)點(diǎn)，輪廓點(diǎn)檢測(cè)的方法能夠?qū)⒅讣庥行У靥崛〕鰜?lái)，從而得到比較準(zhǔn)確的手勢(shì)圖像特征參數(shù)。
　　(3)本文提出了兩種語(yǔ)義手勢(shì)識(shí)別方法:區(qū)間比例算法和圖像融合法。首先提出了一種語(yǔ)義手勢(shì)的概念，并對(duì)其進(jìn)行了簡(jiǎn)單

5、的分類(lèi)。區(qū)間比例方法通過(guò)對(duì)手勢(shì)圖像的有效分區(qū)獲得有效特征，并采用歐氏距離的方法進(jìn)行手勢(shì)識(shí)別;圖像融合法則是將語(yǔ)義手勢(shì)的所有動(dòng)態(tài)圖像信息融合在一幅圖像中，通過(guò)對(duì)一幅靜態(tài)圖的識(shí)別完成語(yǔ)義手勢(shì)的識(shí)別。這兩種方法都有令人滿意的識(shí)別效果。
　　(4)本文將認(rèn)知心理學(xué)的相關(guān)理論成果用于本文的研究，提出了一種認(rèn)知行為模型進(jìn)行語(yǔ)義手勢(shì)的識(shí)別。首先，分析本文建立的虛擬雪人裝配場(chǎng)景，設(shè)置手勢(shì)的識(shí)別點(diǎn)，選用大量的實(shí)驗(yàn)者來(lái)獲取認(rèn)知信息，并訓(xùn)練基于該交互場(chǎng)