基于多模型融合的人手三維跟蹤研究.pdf

1、近幾年來，人與計(jì)算機(jī)的交互活動(dòng)越來越成為人們?nèi)粘Ｉ畹囊粋€(gè)重要組成部分，特別是研究符合人際交流習(xí)慣的新穎人機(jī)交互(Human Computer Interaction，HCI)異常活躍，人們希望能夠更有效更自然地與計(jì)算機(jī)進(jìn)行交流。而傳統(tǒng)的以鍵盤、鼠標(biāo)、手柄等為主要工具的人機(jī)交互技術(shù)，在很多情況下，不能確切地、直接地、自然地表達(dá)人們的意圖，從而不能夠?qū)崿F(xiàn)和諧的人機(jī)交流。所以，基于視覺的自然人手跟蹤是智能人機(jī)交互中的一個(gè)重要研究課題，也是國

2、內(nèi)外計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)。
　　 基于視覺的自然人手跟蹤的主要任務(wù)，是通過攝像頭對自然人手的運(yùn)動(dòng)進(jìn)行實(shí)時(shí)捕捉，利用圖像處理算法和跟蹤算法獲得自然人手運(yùn)動(dòng)信息，利用獲得的人手信息在計(jì)算機(jī)中重構(gòu)出當(dāng)前自然人手的姿勢和狀態(tài)，真實(shí)再現(xiàn)人手的各種運(yùn)動(dòng)，為實(shí)現(xiàn)和諧、自然、方便的HCI界面奠定良好基礎(chǔ)。
　　 本文研究側(cè)重于單目視覺條件下的自然人手跟蹤。因?yàn)槿耸直旧硎且粋€(gè)復(fù)雜的、非剛性的、多鏈接的物體，其人手姿態(tài)本身具有多樣性和復(fù)

3、雜性。所以，自然人手在單目視覺下跟蹤必然存在一些多變的因素，如何保證在單目視覺下的自然人手具有較高的精度和較好的實(shí)時(shí)性，是一個(gè)極其富有挑戰(zhàn)性和研究性的課題。本論文依托國家自然科學(xué)基金(61173079，60973093，60873089)和山東省自然科學(xué)基金重點(diǎn)項(xiàng)目(ZR2011FZ003)資助來研究的。
　　 本文結(jié)合跟蹤理論和認(rèn)知心理學(xué)等相關(guān)學(xué)科，對三維人手跟蹤方法進(jìn)行了改進(jìn)，提出了基于多模型融合的人手三維跟蹤方法。主要?jiǎng)?chuàng)新

4、點(diǎn)如下：
　　 (l)基于認(rèn)知實(shí)驗(yàn)的狀態(tài)預(yù)測模型
　　 建立良好的預(yù)測模型是提高跟蹤精度的基礎(chǔ)，本論文是根據(jù)虛擬交互實(shí)驗(yàn)和BenShneiderman的行為心理學(xué)理論來建立人手模型。首先，利用數(shù)據(jù)手套和位置跟蹤儀建立基于數(shù)字手套的虛擬裝配平臺。其次，結(jié)合人手的行為理解和描述，利用數(shù)據(jù)手套和位置跟蹤儀獲得自然狀態(tài)下人手運(yùn)動(dòng)的數(shù)據(jù)。再次，根據(jù)人類行為的一個(gè)普遍特征就是階段性，將人手運(yùn)動(dòng)過程分為自然狀態(tài)、運(yùn)動(dòng)狀態(tài)和交互狀態(tài)三個(gè)

5、階段，按這三個(gè)階段對虛擬裝配平臺下獲取的人手?jǐn)?shù)據(jù)進(jìn)行分析，得到基于認(rèn)知實(shí)驗(yàn)的人手狀態(tài)預(yù)測模型。
　　 (2)基于局部分析的預(yù)測模型
　　 為了得到更為精確的跟蹤結(jié)果，本論文對人手跟蹤過程中得到的人手狀態(tài)變化的數(shù)據(jù)進(jìn)行處理。首先，取n維人手跟蹤結(jié)果的數(shù)據(jù)，利用二次多項(xiàng)式進(jìn)行數(shù)據(jù)擬合。其次，將Sigma點(diǎn)的分布用于已得到的人手跟蹤數(shù)據(jù)來獲得人手狀態(tài)的樣本點(diǎn)，從而得到基于局部分析得人手狀態(tài)預(yù)測模型。該方法用Sigma點(diǎn)轉(zhuǎn)換來減

6、小人手跟蹤過程中虛擬場景中重構(gòu)人手和現(xiàn)實(shí)世界中自然人手匹配的誤差，從而提高人手跟蹤的精度。
　　 (3)提出了基于多模型融合的人手三維跟蹤算法
　　 本論文提出的跟蹤算法是建立在基于認(rèn)知實(shí)驗(yàn)的人手狀態(tài)預(yù)測模型和基于局部分析預(yù)測模型的基礎(chǔ)上進(jìn)行的，將這兩個(gè)模型信息分別與現(xiàn)實(shí)世界的人手信息（即當(dāng)前幀圖像的信息）進(jìn)行相似度匹配，根據(jù)匹配度對兩個(gè)模型信息加權(quán)融合，這樣每幀都會(huì)用不同的權(quán)值來調(diào)節(jié)這兩個(gè)模型的組合，來約束和指導(dǎo)粒子濾