基于卷積神經(jīng)網(wǎng)絡(luò)的光場圖像深度估計.pdf

1、傳統(tǒng)相機只能記錄一個二維的平面，無法獲取場景深度信息。隨著成像理論的不斷發(fā)展，光場成像技術(shù)應(yīng)運而生，光場成像技術(shù)可以獲取立體空間中更豐富的光線信息。利用光場相機捕捉光線信息獲取場景深度逐漸成為一個研究熱點，對三維重建技術(shù)的發(fā)展具有非常重要的意義。
　　近年來，深度學(xué)習的發(fā)展非常迅速，在語音識別、圖像分割、物體檢測、圖像的超分辨率重建、文本理解等領(lǐng)域都取得了突破性的進展。
　　本文將目前應(yīng)用廣泛的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到光場圖像的深

2、度提取中，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的光場圖像深度估計方法。本文的主要工作及創(chuàng)新如下:
　　(1)數(shù)據(jù)集的構(gòu)建。當前已有的公開數(shù)據(jù)集樣本數(shù)量較少，且四維光場圖像難以直接在卷積神經(jīng)網(wǎng)絡(luò)中應(yīng)用。我們在已有數(shù)據(jù)集的基礎(chǔ)上提出了一種數(shù)據(jù)集構(gòu)建方法。首先將光場圖像轉(zhuǎn)換為極線圖(Epipolar Image，EPI)，將四維光場圖像映射道二維空間中。利用極線圖中直線斜率與場景深度成比例的關(guān)系，提取中心視角圖像中像素點對應(yīng)的水平方向和垂直方向的

3、EPI塊區(qū)域。去除數(shù)據(jù)集中的無效數(shù)據(jù)并對數(shù)據(jù)集進行平衡處理，最終構(gòu)建所需的數(shù)據(jù)集。
　　(2)卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建與訓(xùn)練。我們將深度計算問題轉(zhuǎn)化為分類問題，已知光場圖像場景深度范圍，通過定義計算精度確定分類數(shù)量。我們在經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上提出了一種具有雙子網(wǎng)絡(luò)結(jié)構(gòu)的網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)可以充分學(xué)習水平方向與垂直方向的EPI塊區(qū)域特征，可以充分利用數(shù)據(jù)集所提供的信息。最后我們使用已經(jīng)構(gòu)建好的數(shù)據(jù)集，對網(wǎng)絡(luò)進行訓(xùn)練。