基于深度數(shù)據(jù)的人體視頻編輯.pdf

1、隨著相機(jī)的不斷普及，圖像與視頻的獲取越來(lái)越簡(jiǎn)單，大量圖像與視頻數(shù)據(jù)的涌現(xiàn)也使得越來(lái)越多的研究者關(guān)注圖像與視頻的處理．Photoshop等商業(yè)軟件的成功也表示傳統(tǒng)的圖像處理已經(jīng)相對(duì)成熟，但它們的操作都是非語(yǔ)義的，即處理圖像的時(shí)候并沒(méi)有考慮圖像本身的內(nèi)容.最近幾年來(lái)，越來(lái)越多的研究者關(guān)注于基于內(nèi)容的圖像以及視頻的處理，即針對(duì)圖像或圖像中特定的內(nèi)容進(jìn)行有語(yǔ)義的處理．而其中，相當(dāng)多的文章利用重建出的粗糙的三維數(shù)據(jù)輔助進(jìn)行二維的處理，如進(jìn)行視頻的

2、多視角瀏覽，視頻中人物的體型變形等。
　　 本文主要關(guān)注于視頻編輯的操作，即通過(guò)簡(jiǎn)單地編輯一幀圖像達(dá)到編輯所有視頻幀的效果.傳統(tǒng)的這種編輯操作都是通過(guò)逐幀跟蹤的方法得到視頻中像素點(diǎn)的路徑，并將編輯通過(guò)視頻路徑進(jìn)行傳遞.但傳統(tǒng)的方法對(duì)于出現(xiàn)像素點(diǎn)遮擋后又出現(xiàn)的情況時(shí)便出現(xiàn)路徑跟蹤丟失的問(wèn)題．為了得到全局一致的路徑，我們第一次提出將每一幀圖像都與模板幀進(jìn)行注冊(cè)并對(duì)應(yīng).
　　 而在進(jìn)行變化較大的兩幀圖像之間的注冊(cè)時(shí)，三維信息是

3、必不可少的，我們利用最近微軟開(kāi)發(fā)出的Kinect攝像機(jī)拍攝到的三維深度數(shù)據(jù)輔助進(jìn)行兩幀圖像之間的對(duì)應(yīng)．考慮到Kinect也可以實(shí)時(shí)捕捉到人物的骨架信息，我們首先基于人體數(shù)據(jù)庫(kù)以及每一幀的骨架信息從三維深度數(shù)據(jù)中重建出人體模型.然后我們基于人體模型對(duì)大變化的兩幀非剛性點(diǎn)云進(jìn)行注冊(cè)得到初始對(duì)應(yīng)，并基于一種改進(jìn)的光流的方法利用圖像信息對(duì)其進(jìn)行優(yōu)化，最后我再對(duì)整體的路徑進(jìn)行一次時(shí)空連續(xù)性的優(yōu)化.文章的最后，我們給出了各種編輯結(jié)果，可以看出我們的