基于卷積神經(jīng)網(wǎng)絡的單目視頻深度恢復算法研究.pdf

1、以二維圖像為輸入準確地估計圖像中對象的深度信息，不僅是2D電影轉(zhuǎn)制3D電影這一應用的重要基礎，也能極大程度的促進圖像識別、圖像分割、姿態(tài)估計等計算機視覺基本問題的解決。在諸多深度恢復方法中，基于卷積神經(jīng)網(wǎng)絡的深度恢復方法具有不依賴于特定假設、精度高、速度快等特點，引起了越來越多的關注。
　　圖像是組成視頻序列的基礎，本文首先將全卷積網(wǎng)絡應用于單幀圖像的深度恢復。全卷積網(wǎng)絡能夠獲得與輸入圖像相同尺寸的輸出結果，從而實現(xiàn)像素級的預測;

2、同時因為不含有全連接層，參數(shù)數(shù)量少，抗過擬合能力強。為解決對網(wǎng)絡終端深度輸出大幅度上采樣導致的深度圖邊界模糊的問題，本文構建了一個多尺度網(wǎng)絡，通過抽取網(wǎng)絡不同中間層的特征圖，通過不同倍率的上采樣進行融合，改善深度圖的解析度。NYU v2數(shù)據(jù)集上的實驗表明，本文所研究的方法能夠取得較高的深度恢復準確率。
　　現(xiàn)存的基于卷積神經(jīng)網(wǎng)絡的深度恢復方法都是以單幀圖像為一個訓練樣本進行優(yōu)化的。當用于圖像序列的深度恢復時，所估計出的深度圖序列往

3、往在時域上不連續(xù)，導致合成的3D視頻出現(xiàn)閃爍現(xiàn)象，從而嚴重影響用戶觀感。針對這個問題，本文進一步提出了時空一致性條件隨機場，并將其納入卷積神經(jīng)網(wǎng)絡的框架中，可以聯(lián)合優(yōu)化若干幀連續(xù)圖像，以加強估計所得的深度圖的時空一致性。本文首先對視頻進行時空一致性超像素分割，找出幀間超像素對應關系，然后通過超像素深度卷積神經(jīng)場預測每一超像素的深度僮，最后引入時空一致性條件隨機場層，對所估計的超像素深度值在幀內(nèi)和幀間進行約束，生成在空域和時域都比較連續(xù)的

4、深度圖序列。超像素卷積網(wǎng)絡和時空一致性隨機場層的參數(shù)通過反向傳播同時進行訓練。在NYU v2數(shù)據(jù)集和我們制作的LYB-3D TV數(shù)據(jù)集的實驗結果均表明，該方法在深度恢復的準確率、時間連續(xù)性上都優(yōu)于目前已有的深度恢復方法。
　　基于卷積神經(jīng)網(wǎng)絡的全自動深度恢復方法雖然能最大程度的節(jié)省人力成本，但是估計出的深度圖并不總能滿足用戶的需求。特別是在輸入RGB圖像顏色、材質(zhì)發(fā)生突變的區(qū)域，估計出的深度圖容易發(fā)生斷裂。本文提出了一種基于人機交