基于認(rèn)知信息的手勢(shì)交互方法研究.pdf

1、隨著計(jì)算機(jī)各方面技術(shù)的發(fā)展，傳統(tǒng)的人機(jī)交互方式正面臨著巨大的挑戰(zhàn)，自然與和諧的交互方式是未來人機(jī)交互發(fā)展的方向。手勢(shì)作為日常生活中被廣泛使用的交流方式，不僅包含強(qiáng)大語義，而且還能直觀的表現(xiàn)交互意圖，因此手勢(shì)交互是重要人機(jī)交互方式之一?；谝曈X的手勢(shì)交互以其自然友好的交互方式最符合人類的交互習(xí)慣，從而使得基于視覺的手勢(shì)交互成為人機(jī)交互方面的研究熱點(diǎn)。
　　本論文依托國家自然科學(xué)基金(No.61173079，No.60973093)，

2、山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(ZR2011FZ003)等，以減少用戶認(rèn)知負(fù)擔(dān)為出發(fā)點(diǎn)，對(duì)手勢(shì)交互進(jìn)行了全新的研究。怎樣減少手勢(shì)交互過程中認(rèn)知負(fù)擔(dān)是本論文研究的重點(diǎn)。認(rèn)知信息作為以暗示，隱喻，或明確的方式幫助用戶完成操作的信息，能夠幫助減少用戶認(rèn)知負(fù)擔(dān)，因此本文研究重點(diǎn)是認(rèn)知信息以及怎樣將認(rèn)知信息應(yīng)用到具體的手勢(shì)交互中。
　　本文主要分析了虛擬裝配平臺(tái)下手勢(shì)交互的認(rèn)知信息，并將認(rèn)知信息應(yīng)用到具體的手勢(shì)交互過程中。首先從總體上研究認(rèn)知信

3、息的概念、分類以及可視化，并對(duì)各種類型認(rèn)知信息進(jìn)行具體挖掘分析;接著根據(jù)各類認(rèn)知信息的特性將其應(yīng)用到物體選擇、碰撞檢測以及糾錯(cuò)處理等交互過程中，從而減少這幾個(gè)交互過程的認(rèn)知負(fù)擔(dān)。本文主要工作如下:
　　1、實(shí)現(xiàn)復(fù)雜背景下的手勢(shì)分割與手勢(shì)跟蹤。利用基于亮度索引和特征向量的膚色模型進(jìn)行手勢(shì)分割，使得手勢(shì)分割在室內(nèi)穩(wěn)定光照具有很好的魯棒性。手勢(shì)跟蹤將傳統(tǒng)粒子濾波中的隨機(jī)采樣轉(zhuǎn)變?yōu)楦咚共蓸樱?duì)權(quán)值進(jìn)行優(yōu)化，改善了跟蹤的精度。
　　

4、2、分析虛擬裝配平臺(tái)下手勢(shì)交互的認(rèn)知信息。在對(duì)認(rèn)知信息進(jìn)行分類基礎(chǔ)上，分析總結(jié)了各類認(rèn)知信息在手勢(shì)交互中的特點(diǎn)以及其對(duì)手勢(shì)交互的作用，并給出部分認(rèn)知信息組織獲取的方法，以及尋找最佳認(rèn)知信息可視化的方法。
　　3、提出一種虛擬裝配平臺(tái)下的導(dǎo)航信息模型，此模型通過場景信息和三維手勢(shì)狀態(tài)信息產(chǎn)生導(dǎo)航信息，并將導(dǎo)航信息可視化，從而引導(dǎo)手勢(shì)交互的進(jìn)行。并利用此導(dǎo)航信息模型提出了新的物體選擇和碰撞檢測算法，不僅使得在進(jìn)行物體選擇和碰撞檢測時(shí)用

5、時(shí)較少，增強(qiáng)了交互的實(shí)時(shí)性，更重要的是減少了用戶在手勢(shì)交互中的認(rèn)知負(fù)擔(dān)。
　　4、提出一種自我反饋糾錯(cuò)算法，首先劃分手勢(shì)交互的過程，并建立場景信息庫和手勢(shì)狀態(tài)信息庫，其次，將各子過程的起始位置的手勢(shì)狀態(tài)信息和場景信息存入對(duì)應(yīng)的信息庫，并分別建立手勢(shì)狀態(tài)時(shí)序表和場景信息時(shí)序表，最后通過訪問手勢(shì)狀態(tài)時(shí)序表和場景信息時(shí)序表來實(shí)現(xiàn)回退操作。通過建立場景信息庫和手勢(shì)狀態(tài)信息庫，避免手勢(shì)交互過程中信息的冗余，通過劃分交互過程，使得回退過程中以