基于視頻的三維人體運動捕獲方法研究.pdf

1、基于視頻的人體運動分析是近年來模式識別、智能人機接口以及虛擬現(xiàn)實等研究領域中一個備受關注的前沿方向。它不僅具有重要的研究意義，而且在智能監(jiān)控、體育運動分析、動畫生成等方面具有廣闊的應用前景。因此，它吸引了越來越多的研究者的興趣?；谝曨l的人體運動分析的主要目的，是從一組包含人的視頻圖像序列中檢測、識別、跟蹤人體行為，并對其進行分析和理解。其中，運動檢測和運動跟蹤等屬于底層視覺問題，而行為的理解和描述屬于高層視覺問題。 本文針對基

2、于視頻的人體運動分析中的人體運動的行為理解的視覺問題，即人體運動捕獲進行了研究，重點研究如何從蹦床、體操等復雜高動態(tài)視頻中提取人體3D運動信息。創(chuàng)新之處如下： 1、在總體思想與方法上，提出了一種新的基于視頻的3D人體運動生成方法 從運動視頻中獲取人體的3D運動信息是一個非常困難的問題。目前國內外的研究成果，都是只能對特定條件下采集的運動視頻進行處理，并且只能針對例如走，跑步等簡單的周期性運動類型。我們針對記錄人體復雜運動

3、的高動態(tài)運動視頻，進行了基于視頻的3D運動信息生成的研究，旨在得到3D人體運動數(shù)據(jù)的精確、整體描述。在研究策略中，我們加入了一些基于領域的知識，即，針對某種運動類型，充分利用基于領域內采集的3D運動數(shù)據(jù)庫，同時，采用視頻圖像處理與學習策略相結合的策略來提取視頻中的人體3D運動信息。我們選用蹦床運動視頻作為研究實例，并通過大量實驗數(shù)據(jù)進行了驗證。實驗結果表明，本文的方法避免了攝像機定標的繁瑣計算過程，能對任意給定的運動視頻進行處理；其次，

4、由于采用基于領域的學習策略，與現(xiàn)有方法相比，本文的方法在計算穩(wěn)定性與結果精度方面都有了很大的提高：重構效率可以達到次線性級fsub-linear)，能基本滿足實時處理的要求；同時，經(jīng)過量化測試，在輸入視頻數(shù)據(jù)較為理想的情況下，姿態(tài)重構的成功率穩(wěn)定在97％以上；而且算法對圖像噪聲也具有較好的魯棒性，在視頻圖像具有較大噪聲的情況下，其姿態(tài)重構成功率也可以達到94.5％。在此基礎上獲取的連續(xù)3D人體運動數(shù)據(jù)也體現(xiàn)了良好的運動相關性和物理真實性

5、。 2、提出了一種基于輪廓相似性匹配的人體姿態(tài)重構方法 3D人體姿態(tài)重構是基于視頻的3D人體運動生成的基礎。本文中，我們提出了一種改進的基于輪廓相似性匹配的人體姿態(tài)重構方法。該方法將經(jīng)典的Hu矩不變量與仿射矩不變量(AMIs)相結合。實踐證明，與經(jīng)典的Hu矩方法相比，基于Hu矩不變量與仿射矩不變量(AMIs)相結合的方法不僅修正了：Hu矩方法中由于旋轉不變性所導致的誤差，而且計算的總體效率也提高了10％以上。 為

6、了進一步提高姿態(tài)重構的精度和計算效率，我們采用基于EMD(Earth-Mover'sDistance)的方法進行優(yōu)化處理；同時，為了加快執(zhí)行效率，我們用LSH(Local-SensitiveHashing)來對數(shù)據(jù)庫建立索引；另外，為了提高匹配結果對輪廓噪聲的魯棒性，我們對輪廓特征引入形狀上下文(Shape Context)的描述。實驗表明，經(jīng)過這一系列的優(yōu)化處理以后，在輪廓提取質量較為理想的情況下，姿態(tài)重構的成功率穩(wěn)定在97％以上，該

7、方法對圖像噪聲也具有較好的魯棒性，在視頻圖像具有較大噪聲的情況下，其姿態(tài)重構成功率也可以達到94.5％。執(zhí)行效率更是達到次線性級(sub-1inear)，能基本滿足基于視頻的人體姿態(tài)重構中實時處理的要求。 3、提出了一種基于視頻內容的3D人體姿態(tài)求精方法 所謂基于視頻內容的3D人體姿態(tài)求精，就是在已知初始人體3D姿態(tài)信息的基礎上，根據(jù)視頻中人體輪廓信息，將初始人體3D姿態(tài)進行變形，從而得到與視頻中對應的精確的3D人體結構

8、信息。在我們的實際應用中，我們結合基于點集的輪廓匹配方法，同時綜合利用2D骨架信息，來解決基于視頻內容的人體姿態(tài)求精問題。實驗結果表明，與目前國內外現(xiàn)有方法相比，我們的方法不僅能夠保證處理結果的精度，而且只需要通過簡單高效的2D運算就可以實現(xiàn)變形求精。另外，我們的變形技術是基于通用的處理框架，可用于各種類型的已知初始3D信息的運動對象的姿態(tài)求精處理，體現(xiàn)了良好的通用性。 4、提出了一個基于3D運動庫的時空模型，并以此為基礎，提出

9、了一種3D連續(xù)運動生成方法 為了充分利用3D運動數(shù)據(jù)庫中所蘊含的豐富的人體結構信息以及運動相關性等運動學信息，我們對3D運動庫中的數(shù)據(jù)建立時空模型。即建立各個定長數(shù)據(jù)段之間的空間結構相似度模型以及時間概率轉移模型。 以運動庫時空模型為基礎，結合人體姿態(tài)重構，我們提出了一種3D連續(xù)運動生成方法。該方法包括預處理、運動庫建模，以及連續(xù)運動生成3個階段。在預處理階段，首先根據(jù)運動庫的數(shù)據(jù)采集幀率與視頻幀率的比例對3D運動庫中的

10、數(shù)據(jù)進行下采樣(down-sampie)，然后對3D運動庫中的連續(xù)數(shù)據(jù)進行定長分段，同時，對待重構的視頻序列也進行同樣的分段處理。然后，在建模階段，我們對運動數(shù)據(jù)庫進行時空建模。在連續(xù)運動生成階段，對于輸入的視頻序列，以3D人體姿態(tài)重構為基礎，以3D運動庫的時—空模型為指導，就可以進行自動化的人體運動重構，從而得到連續(xù)的3D人體運動信息。通過對重構結果的量化分析以及與真實3D運動數(shù)據(jù)的對比，證明了重構的運動數(shù)據(jù)不僅具有良好的運動相關性，