基于卷積神經(jīng)網(wǎng)絡(luò)的單目視頻深度恢復(fù)算法研究.pdf

1、以二維圖像為輸入準(zhǔn)確地估計(jì)圖像中對(duì)象的深度信息，不僅是2D電影轉(zhuǎn)制3D電影這一應(yīng)用的重要基礎(chǔ)，也能極大程度的促進(jìn)圖像識(shí)別、圖像分割、姿態(tài)估計(jì)等計(jì)算機(jī)視覺(jué)基本問(wèn)題的解決。在諸多深度恢復(fù)方法中，基于卷積神經(jīng)網(wǎng)絡(luò)的深度恢復(fù)方法具有不依賴于特定假設(shè)、精度高、速度快等特點(diǎn)，引起了越來(lái)越多的關(guān)注。
　　圖像是組成視頻序列的基礎(chǔ)，本文首先將全卷積網(wǎng)絡(luò)應(yīng)用于單幀圖像的深度恢復(fù)。全卷積網(wǎng)絡(luò)能夠獲得與輸入圖像相同尺寸的輸出結(jié)果，從而實(shí)現(xiàn)像素級(jí)的預(yù)測(cè);

2、同時(shí)因?yàn)椴缓腥B接層，參數(shù)數(shù)量少，抗過(guò)擬合能力強(qiáng)。為解決對(duì)網(wǎng)絡(luò)終端深度輸出大幅度上采樣導(dǎo)致的深度圖邊界模糊的問(wèn)題，本文構(gòu)建了一個(gè)多尺度網(wǎng)絡(luò)，通過(guò)抽取網(wǎng)絡(luò)不同中間層的特征圖，通過(guò)不同倍率的上采樣進(jìn)行融合，改善深度圖的解析度。NYU v2數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文所研究的方法能夠取得較高的深度恢復(fù)準(zhǔn)確率。
　　現(xiàn)存的基于卷積神經(jīng)網(wǎng)絡(luò)的深度恢復(fù)方法都是以單幀圖像為一個(gè)訓(xùn)練樣本進(jìn)行優(yōu)化的。當(dāng)用于圖像序列的深度恢復(fù)時(shí)，所估計(jì)出的深度圖序列往

3、往在時(shí)域上不連續(xù)，導(dǎo)致合成的3D視頻出現(xiàn)閃爍現(xiàn)象，從而嚴(yán)重影響用戶觀感。針對(duì)這個(gè)問(wèn)題，本文進(jìn)一步提出了時(shí)空一致性條件隨機(jī)場(chǎng)，并將其納入卷積神經(jīng)網(wǎng)絡(luò)的框架中，可以聯(lián)合優(yōu)化若干幀連續(xù)圖像，以加強(qiáng)估計(jì)所得的深度圖的時(shí)空一致性。本文首先對(duì)視頻進(jìn)行時(shí)空一致性超像素分割，找出幀間超像素對(duì)應(yīng)關(guān)系，然后通過(guò)超像素深度卷積神經(jīng)場(chǎng)預(yù)測(cè)每一超像素的深度僮，最后引入時(shí)空一致性條件隨機(jī)場(chǎng)層，對(duì)所估計(jì)的超像素深度值在幀內(nèi)和幀間進(jìn)行約束，生成在空域和時(shí)域都比較連續(xù)的

4、深度圖序列。超像素卷積網(wǎng)絡(luò)和時(shí)空一致性隨機(jī)場(chǎng)層的參數(shù)通過(guò)反向傳播同時(shí)進(jìn)行訓(xùn)練。在NYU v2數(shù)據(jù)集和我們制作的LYB-3D TV數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果均表明，該方法在深度恢復(fù)的準(zhǔn)確率、時(shí)間連續(xù)性上都優(yōu)于目前已有的深度恢復(fù)方法。
　　基于卷積神經(jīng)網(wǎng)絡(luò)的全自動(dòng)深度恢復(fù)方法雖然能最大程度的節(jié)省人力成本，但是估計(jì)出的深度圖并不總能滿足用戶的需求。特別是在輸入RGB圖像顏色、材質(zhì)發(fā)生突變的區(qū)域，估計(jì)出的深度圖容易發(fā)生斷裂。本文提出了一種基于人機(jī)交