無標(biāo)記人體運(yùn)動(dòng)捕捉及姿態(tài)估計(jì)的研究.pdf

1、人類感知外界信息，80％以上是通過視覺得到的，讓計(jì)算機(jī)具有視覺是人類多年以來的夢(mèng)想。隨著人機(jī)交互技術(shù)的發(fā)展，人與計(jì)算機(jī)之間自然的、多模態(tài)的交互將成為人與計(jì)算機(jī)之間交互的主要方式。而這首先就需要計(jì)算機(jī)可以正確地理解和捕捉人的行為，運(yùn)動(dòng)捕捉正是在這種背景下提出來。運(yùn)動(dòng)捕捉是指檢測(cè)和記錄運(yùn)動(dòng)目標(biāo)（通常是人）的動(dòng)作或表情，并將其轉(zhuǎn)化為數(shù)字化的“抽象運(yùn)動(dòng)”的技術(shù)，其結(jié)果則表示為不同時(shí)刻目標(biāo)所處的姿態(tài)。它是新一代人機(jī)交互的關(guān)鍵技術(shù)之一，同時(shí)也可應(yīng)用

2、于動(dòng)畫游戲制作、運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)、智能監(jiān)控及模型基編碼等領(lǐng)域。 基于視覺的人體運(yùn)動(dòng)捕捉具有非入侵、成本低、智能化等優(yōu)點(diǎn)。從圖像序列中獲取人體的姿態(tài)信息已經(jīng)成為運(yùn)動(dòng)捕捉領(lǐng)域的熱點(diǎn)之一．然而由于存在人體的非剛體運(yùn)動(dòng)、三維空間到二維圖像平面投影的多義性、人體的遮擋與自遮擋、高維狀態(tài)空間搜索、復(fù)雜條件下的圖像特征提取與匹配等方面的困難，從視頻圖像中恢復(fù)出人體三維運(yùn)動(dòng)姿態(tài)存在大量的不確定性。因此三維人體運(yùn)動(dòng)捕捉是計(jì)算機(jī)視覺領(lǐng)域一項(xiàng)非常有

3、挑戰(zhàn)性的任務(wù)。本文正是從計(jì)算機(jī)視覺的角度出發(fā)，對(duì)基于視覺的人體運(yùn)動(dòng)捕捉和姿態(tài)估計(jì)進(jìn)行了深入地研究，其取得的主要成果可以總結(jié)如下： 1．提出了一種集多種約束功能的活動(dòng)輪廓運(yùn)動(dòng)目標(biāo)提取算法，即MC-GMM-Active Contours。它在活動(dòng)輪廓的框架之下引入了對(duì)GMM背景模型的描述。為了有效地利用前一幀已經(jīng)獲得的前景目標(biāo)的有關(guān)信息，能量函數(shù)中引入了前景顏色模型。為了有效的抑制陰影，能量函數(shù)中引入了陰影消除能量項(xiàng)來代替以往獨(dú)立的

4、陰影消除模塊。人們對(duì)物體的認(rèn)識(shí)主要是來自于其外形輪廓，而能量函數(shù)的曲率約束項(xiàng)則將目標(biāo)輪廓及先驗(yàn)知識(shí)約束統(tǒng)一于運(yùn)動(dòng)目標(biāo)提取的過程之中。能量函數(shù)的優(yōu)化采用曲線演化及水平集方法來優(yōu)化目標(biāo)函數(shù)的方法。而在水平集的數(shù)值解中，采用了半隱式無條件穩(wěn)定的加性算子分裂算法（Additive Operator Splitting， AOS）。這些使得我們?cè)诠潭〝z像機(jī)條件下，獲得了比通常算法更準(zhǔn)確和快速的運(yùn)動(dòng)目標(biāo)提取算法。 2．提出了一種結(jié)合改進(jìn)的三

5、維動(dòng)態(tài)馬爾可夫隨機(jī)場(chǎng)（Markov Random Fields）和距離能量模型（Distance Energy Model）的姿態(tài)估計(jì)方法（M-MRF-DEM）。相比以往基于MRF的運(yùn)動(dòng)捕捉算法，有如下的改進(jìn)：為了使模型與表演者任何時(shí)候都合身緊湊，我們提出了一種基于骨架模型的自適應(yīng)距離能量模型。它可以根據(jù)姿態(tài)估計(jì)過程中的反饋，對(duì)人體模型進(jìn)行在線更新。為了可以更有效的描述MRF中體素之間的關(guān)系，我們采用了一個(gè)更準(zhǔn)確的二元交互勢(shì)。為了能更好

6、地約束人體運(yùn)動(dòng)姿態(tài)的合理性，我們引入了更合理的附加約束項(xiàng)。實(shí)驗(yàn)表明改進(jìn)后的算法使得估計(jì)的姿態(tài)更為魯棒。 3．提出了一種無需目標(biāo)提取的3D活動(dòng)輪廓運(yùn)動(dòng)捕捉算法。該方法不再把運(yùn)動(dòng)目標(biāo)提取和姿態(tài)估計(jì)作為兩個(gè)獨(dú)立的模塊相繼處理。以往的運(yùn)動(dòng)目標(biāo)提取模塊提取出人體輪廓之后，后續(xù)的處理步驟只關(guān)注圖像中輪廓以內(nèi)的部分，這使得后續(xù)步驟中信息出現(xiàn)丟失。同時(shí)這也使得后續(xù)的處理過分依賴目標(biāo)提取的結(jié)果，一旦目標(biāo)提取存在錯(cuò)誤則在后續(xù)步驟中無法恢復(fù)。而基于3

7、D活動(dòng)輪廓的人體運(yùn)動(dòng)捕捉將人體的目標(biāo)提取與姿態(tài)估計(jì)無縫地整合到活動(dòng)輪廓的框架下，借助于人體模型，將運(yùn)動(dòng)捕捉與三維重建兩個(gè)任務(wù)有機(jī)地結(jié)合起來，克服了前面的缺點(diǎn)。同時(shí)該算法引入了人體運(yùn)動(dòng)先驗(yàn)約束項(xiàng)來抑制三維數(shù)據(jù)中攝像機(jī)遮擋帶來的影響，這些改進(jìn)使得我們的算法獲得比通常算法具有更高效率和更加魯棒的效果。 4．提出了一種基于2D活動(dòng)輪廓的強(qiáng)先驗(yàn)運(yùn)動(dòng)目標(biāo)分割與人體姿態(tài)估計(jì)算法。該方法同樣不再把運(yùn)動(dòng)目標(biāo)提取作為一個(gè)獨(dú)立的模塊來單獨(dú)處理。但是在