運動人手的三維跟蹤方法研究.pdf

1、運動人手三維跟蹤是人機交互(HumanComputerInteraction,HCI)研究中的一個基礎性和關鍵性研究課題，它涉及到計算機圖形圖象處理、人機交互理論、計算機視覺、射影幾何學、預測估計方法學、軟計算理論等眾多交叉學科，對其進行深入研究，對于深化智能HCI的理論和應用，尤其是在虛擬現(xiàn)實中的應用，對于推進相關學科的應用研究，都具有重要意義。 基于模型的運動人手三維跟蹤的主要任務是：連續(xù)地獲取與每幀人手圖像相對應的三維人手

2、的姿態(tài)和位置，為實現(xiàn)和諧、自然、方便的HCI界面打下基礎。在多目視覺條件下，可以根據(jù)對應特征點進行三維跟蹤，得到當前幀的三維手勢；在單目視覺條件下，由上一時刻的三維手勢和當前時刻的幀圖像，預測和濾波當前時刻的三維手勢。 不僅手勢本身具有多樣性、多義性以及時間和空間上的差異性等特點，而且人手是復雜的多鏈節(jié)體，并且人手具有高自由度以及指骨的尺寸比較小，更由于在人手跟蹤過程中存在自遮擋現(xiàn)象和病態(tài)問題，因此，基于計算機視覺的手勢跟蹤與識

3、別是一個極富挑戰(zhàn)性的研究課題，面臨錯綜復雜的矛盾和問題。本研究以“虛擬樣機若干關鍵技術及其典型應用研究，國家863計劃項目(2002AA411310)”等重大專項為依托，對基于計算機視覺的運動人手三維跟蹤過程中的一些關鍵問題進行探討。 這些關鍵問題主要包括：在單目視覺條件下，當人手的運動狀態(tài)發(fā)生突然改變時，EKF濾波跟蹤器將喪失跟蹤能力；人手自遮擋問題處理方法的時間開銷和處理精度亟待進一步改善；三維人手模型的初始化工作大部分仍然

4、靠手工完成，模型的正確性和精度無法得到保證；基于經(jīng)典模式識別的理論和方法已經(jīng)不能很好地滿足HCI中識別形變手勢之需要。本文主要針對上述關鍵性問題展開研究，主要貢獻包括以下幾點： (1)針對人手運動狀態(tài)突變情況下運動跟蹤所存在的問題，提出一種新的強跟蹤濾波算法。 這種強跟蹤濾波器算法的主要特征在于，通過實時在線調整狀態(tài)預報誤差的協(xié)方差矩陣，使得輸出殘差始終具有類似白噪聲的性質，亦即強跟蹤濾波器已經(jīng)將輸出殘差中的一切有效信息

5、提取出來。為了達到這種目標，引入漸消矩陣，并利用強跟蹤濾波器的充分條件求出該漸消矩陣。本文設計的漸消矩陣之主要特點在于，它可以對預報誤差的協(xié)方差矩陣的不同分量進行不同控制，從而使得強跟蹤濾波器具有更強的對運動人手突變狀態(tài)的跟蹤能力。 此外，分析經(jīng)典EKF濾波算法和相關強跟蹤濾波算法存在的問題以及產(chǎn)生這些問題的根本原因；研究三維人手模型的初始化方法、獲取被跟蹤特征觀測值方法、確定人手運動模型方法；分析和研究經(jīng)典EKF算法、UKF算

6、法以及相關強跟蹤濾波算法在同等實驗條件下的跟蹤結果，并與本文算法進行比較；將本文跟蹤結果與數(shù)字手套傳感器數(shù)據(jù)進行比較和分析，對跟蹤算法進行評價。 (2)提出了一種基于連續(xù)形變理論的手勢識別算法，解決了手勢靈活形變條件下的識別問題。 連續(xù)形變融入了形變的拓撲性特征和過程性特征，通過研究連續(xù)形變的這些基本特征，可以得到判斷連續(xù)形變的基本方法，然后進一步研究把這種方法用于形變手勢識別問題。重點研究拓撲學中同胚、同構等基本概念以

7、及拓撲不變性等相關理論，分析連續(xù)形變與這些概念和理論之間的聯(lián)系方式；分析網(wǎng)格圖像與圖像邊界之間的關系，最后得到連續(xù)形變的充要條件。 (3)提出了一種在單目視覺與單鏡面條件下進行人手三維跟蹤的基本方法，解決了三維人手模型的初始化問題。 單目視覺跟蹤和多目視覺跟蹤各具優(yōu)勢，采用單目視覺與單鏡面體系結構，可以把這兩種優(yōu)勢相結合；通過探討空間物點在像平面上的投影、該物點的對稱點在同一像平面上的投影、鏡面以及該物點本身這四者之間的

8、關系，得到一種運動人手跟蹤的新方法。此外，給出獲取鏡面方程的方法、獲取人手特征及其對應關系的方法，以及在單目視覺與單鏡面體系結構下進行相機校準的方法。 (4)提出了一種基于改進UKF濾波器的人手自遮擋處理方法。 根據(jù)手勢先驗運動方向重新分配UKF濾波算法中Sigma點的權值，并且有針對性地選擇需要修正的跟蹤對象，避免盲目搜索和修正。把手指作為基本處理對象，首先對UKF算法進行改進，然后利用它對當前手指各關節(jié)進行預測；以預

9、測值作為初值，用局部搜索技術對誤差較大的關節(jié)用改進的UKF算法重新進行預測，直到該手指在像平面上的投影輪廓和圖像輪廓之間的誤差滿足指定的精度為止。 (5)提出了一種基于拓撲結構特征的獲取場景對應特征點的方法。 從拓撲結構之間對應關系這個角度來描述和討論問題，然后，以分析拓撲結構圖中頂點的拓撲結構特征作為突破口，求解特征對應關系。給出從幀圖像中提取壓線格的方法、從壓線格中獲取特征網(wǎng)格的方法以及獲取特征網(wǎng)格鄰接矩陣的方法；分