基于多目視頻的三維人體運(yùn)動(dòng)跟蹤系統(tǒng)關(guān)鍵技術(shù)研究.pdf

1、運(yùn)動(dòng)捕捉技術(shù)可廣泛應(yīng)用于三維影視制作、互動(dòng)游戲、醫(yī)學(xué)康復(fù)、體育訓(xùn)練、智能人機(jī)交互和遠(yuǎn)程控制等多個(gè)領(lǐng)域,具有極高的商業(yè)價(jià)值。傳統(tǒng)的機(jī)械式、聲學(xué)式、電磁式及慣性式等非光學(xué)式運(yùn)動(dòng)捕捉系統(tǒng)和有標(biāo)記點(diǎn)的光學(xué)式運(yùn)動(dòng)捕捉系統(tǒng)已在上述領(lǐng)域獲得了成功應(yīng)用。相比之下,基于視頻(無(wú)標(biāo)記點(diǎn))的運(yùn)動(dòng)捕捉系統(tǒng)是一種更加靈活的解決方案:從實(shí)際應(yīng)用的角度而言,被跟蹤的人物身體上不需要預(yù)先穿戴傳感器或粘貼各類標(biāo)記點(diǎn);另外從學(xué)術(shù)的角度而言,這種技術(shù)不再僅僅局限于標(biāo)記點(diǎn)的運(yùn)

2、動(dòng)信息,使得近年來(lái)對(duì)三維人體外形和運(yùn)動(dòng)同時(shí)進(jìn)行跟蹤與測(cè)量成為可能。因而研究更加靈活的基于視頻的人體運(yùn)動(dòng)捕捉系統(tǒng)同時(shí)具有重要的學(xué)術(shù)價(jià)值和實(shí)際應(yīng)用價(jià)值。
　　本文以基于先驗(yàn)蒙皮模型的三維人體運(yùn)動(dòng)跟蹤系統(tǒng)為研究對(duì)象,研究工作主要圍繞著該系統(tǒng)各個(gè)關(guān)鍵技術(shù)展開(kāi):
　　對(duì)于特定對(duì)象的三維人體運(yùn)動(dòng)捕捉及跟蹤,首先建立了一個(gè)該人體的先驗(yàn)蒙皮模型。其中,基于剛體運(yùn)動(dòng)的twist指數(shù)描述形式,并結(jié)合待拼接點(diǎn)云數(shù)據(jù)的重疊率信息,本文提出了HT-I

3、CP部分重疊點(diǎn)云自動(dòng)拼接算法,并推導(dǎo)出其等價(jià)的線性矩陣方程解。通過(guò)與傳統(tǒng)的基于奇異值分解(SVD)的ICP(Iterative closest point)算法和基于四元數(shù)的 ICP算法進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果表明 HT-ICP算法有效地提高了點(diǎn)云自動(dòng)拼接的速度和精度。針對(duì)存在高噪聲的點(diǎn)云數(shù)據(jù),本文給出了“4PCS(4-Points Congruent Sets)”+“HT-ICP”組合拼接方法,獲得令人滿意的拼接結(jié)果。進(jìn)一步,使用 HT-I

4、CP部分重疊點(diǎn)云拼接算法來(lái)對(duì)VIVID910掃描獲取的對(duì)象點(diǎn)云數(shù)據(jù)進(jìn)行拼接,得到一個(gè)單一連通的,且封閉的對(duì)象專門模型,以作為對(duì)象先驗(yàn)蒙皮模型的外部皮膚網(wǎng)格模型。最后通過(guò)定義運(yùn)動(dòng)對(duì)象內(nèi)部骨骼模型,并將內(nèi)部骨骼模型和外部皮膚網(wǎng)格模型綁定起來(lái),建立了一個(gè)完整的特定跟蹤對(duì)象的先驗(yàn)蒙皮模型。
　　提出一種基于蒙皮模型和分層加權(quán)迭代最近點(diǎn)(HWICP)算法的三維人體運(yùn)動(dòng)跟蹤方法。首先使用Shape-From-Silhouettes方法從當(dāng)前幀

5、多目視頻圖像中提取的人物輪廓并計(jì)算出被跟蹤人物的可視外殼,然后建立人物先驗(yàn)蒙皮模型并與之匹配,其中蒙皮模型的引入使得多關(guān)節(jié)人體三維外形和運(yùn)動(dòng)跟蹤問(wèn)題被轉(zhuǎn)化為一個(gè)分層最小二乘三維表面匹配問(wèn)題。接著,使用 HWICP算法來(lái)對(duì)其進(jìn)行求解。其中在對(duì)蒙皮模型肢體與可視外殼的匹配中,針對(duì)先驗(yàn)?zāi)Ｐ瞳@取中肢體間連接部位的網(wǎng)格頂點(diǎn)粘連問(wèn)題,本文采用加權(quán)擴(kuò)展正交普魯克分析(WEOPA),通過(guò)引入4種不同的權(quán)值分配策略,有效克服了頂點(diǎn)粘連對(duì)匹配的影響,并充分

6、利用了頂點(diǎn)對(duì)的幾何信息。
　　提出一種聯(lián)合LBS(Linear Blend Skinning)和Snake變形模型的三維人體外形和運(yùn)動(dòng)跟蹤方法,能同時(shí)捕捉人物的三維外形和運(yùn)動(dòng)信息。首先建立人物對(duì)象的蒙皮模型,然后以每一幀多目同步視頻中的人物輪廓作為輸入,基于HWICP算法捕捉出每一幀 LBS骨架子空間下的人物三維外形及運(yùn)動(dòng),然后再一次使用系統(tǒng)多目同步視頻的人物輪廓信息,讓 Snake內(nèi)外力共同作用于皮膚網(wǎng)格模型上的頂點(diǎn),使之自由地

7、趨近于目標(biāo)對(duì)象,提高了系統(tǒng)對(duì)每一幀人物三維外形信息的捕獲精度。
　　提出一種多目視頻三維人體運(yùn)動(dòng)跟蹤系統(tǒng)的蒙皮模型自動(dòng)初始化方法。首先將8個(gè)相機(jī)標(biāo)定到同一個(gè)世界坐標(biāo)系下,計(jì)算其各自的投影矩陣。由8個(gè)同步相機(jī)第一幀的人物輪廓及投影矩陣,重建出目標(biāo)人物的可視外殼,接著提取其頂點(diǎn)坐標(biāo)及法線構(gòu)成三維有向點(diǎn)云,并使用泊松表面重建算法將其轉(zhuǎn)化成一個(gè)封閉、光滑、且單一聯(lián)通的三角網(wǎng)格模型,以便于對(duì)其進(jìn)行自動(dòng)分割及肢體標(biāo)注。然后,采用4PCS算法先