基于認(rèn)知信息的手勢交互方法研究.pdf

1、隨著計(jì)算機(jī)各方面技術(shù)的發(fā)展，傳統(tǒng)的人機(jī)交互方式正面臨著巨大的挑戰(zhàn)，自然與和諧的交互方式是未來人機(jī)交互發(fā)展的方向。手勢作為日常生活中被廣泛使用的交流方式，不僅包含強(qiáng)大語義，而且還能直觀的表現(xiàn)交互意圖，因此手勢交互是重要人機(jī)交互方式之一。基于視覺的手勢交互以其自然友好的交互方式最符合人類的交互習(xí)慣，從而使得基于視覺的手勢交互成為人機(jī)交互方面的研究熱點(diǎn)。
　　本論文依托國家自然科學(xué)基金(No.61173079，No.60973093)，

2、山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(ZR2011FZ003)等，以減少用戶認(rèn)知負(fù)擔(dān)為出發(fā)點(diǎn)，對手勢交互進(jìn)行了全新的研究。怎樣減少手勢交互過程中認(rèn)知負(fù)擔(dān)是本論文研究的重點(diǎn)。認(rèn)知信息作為以暗示，隱喻，或明確的方式幫助用戶完成操作的信息，能夠幫助減少用戶認(rèn)知負(fù)擔(dān)，因此本文研究重點(diǎn)是認(rèn)知信息以及怎樣將認(rèn)知信息應(yīng)用到具體的手勢交互中。
　　本文主要分析了虛擬裝配平臺下手勢交互的認(rèn)知信息，并將認(rèn)知信息應(yīng)用到具體的手勢交互過程中。首先從總體上研究認(rèn)知信

3、息的概念、分類以及可視化，并對各種類型認(rèn)知信息進(jìn)行具體挖掘分析;接著根據(jù)各類認(rèn)知信息的特性將其應(yīng)用到物體選擇、碰撞檢測以及糾錯處理等交互過程中，從而減少這幾個交互過程的認(rèn)知負(fù)擔(dān)。本文主要工作如下:
　　1、實(shí)現(xiàn)復(fù)雜背景下的手勢分割與手勢跟蹤。利用基于亮度索引和特征向量的膚色模型進(jìn)行手勢分割，使得手勢分割在室內(nèi)穩(wěn)定光照具有很好的魯棒性。手勢跟蹤將傳統(tǒng)粒子濾波中的隨機(jī)采樣轉(zhuǎn)變?yōu)楦咚共蓸?，并對?quán)值進(jìn)行優(yōu)化，改善了跟蹤的精度。
　　

4、2、分析虛擬裝配平臺下手勢交互的認(rèn)知信息。在對認(rèn)知信息進(jìn)行分類基礎(chǔ)上，分析總結(jié)了各類認(rèn)知信息在手勢交互中的特點(diǎn)以及其對手勢交互的作用，并給出部分認(rèn)知信息組織獲取的方法，以及尋找最佳認(rèn)知信息可視化的方法。
　　3、提出一種虛擬裝配平臺下的導(dǎo)航信息模型，此模型通過場景信息和三維手勢狀態(tài)信息產(chǎn)生導(dǎo)航信息，并將導(dǎo)航信息可視化，從而引導(dǎo)手勢交互的進(jìn)行。并利用此導(dǎo)航信息模型提出了新的物體選擇和碰撞檢測算法，不僅使得在進(jìn)行物體選擇和碰撞檢測時用

5、時較少，增強(qiáng)了交互的實(shí)時性，更重要的是減少了用戶在手勢交互中的認(rèn)知負(fù)擔(dān)。
　　4、提出一種自我反饋糾錯算法，首先劃分手勢交互的過程，并建立場景信息庫和手勢狀態(tài)信息庫，其次，將各子過程的起始位置的手勢狀態(tài)信息和場景信息存入對應(yīng)的信息庫，并分別建立手勢狀態(tài)時序表和場景信息時序表，最后通過訪問手勢狀態(tài)時序表和場景信息時序表來實(shí)現(xiàn)回退操作。通過建立場景信息庫和手勢狀態(tài)信息庫，避免手勢交互過程中信息的冗余，通過劃分交互過程，使得回退過程中以