基于時空域約束的深度圖像修復(fù)及提取算法研究.pdf

1、3D視頻節(jié)目處理打破了傳統(tǒng)的二維視頻的概念,該技術(shù)通過同時傳輸左右兩路視頻,在終端,用戶通過佩戴3D眼鏡觀看,使得左右兩幅圖像可以在人腦中融合,從而形成立體視覺,使得人們能夠真正欣賞到沉浸感極強的三維視頻。深度圖像的獲取是計算機視覺領(lǐng)域的一個基礎(chǔ)課題,其由于包含了場景中豐富的立體結(jié)構(gòu)信息,被廣泛的應(yīng)用于虛擬視點繪制(Synthesized View Rendering)、物體識別(Object Recognition),場景三維重建(3

2、D Reconsturction)等領(lǐng)域。在這些應(yīng)用中,深度圖像便顯得至關(guān)重要,深度圖像的質(zhì)量將會直接決定任務(wù)的成功與否。
　　本文研究內(nèi)容包括主動式設(shè)備獲取(Active Depth Senseing)的深度圖像中噪聲的分析及修復(fù),以及三視點圖像序列的被動視差估計(Passive Disparity Acquiring)算法兩種情況。主動式的深度圖像獲取技術(shù)已經(jīng)比較成熟,如采用Microsoft Kinect深度攝像機進行拍攝,

3、利用配套的MS Kinect SDK獲取其深度數(shù)據(jù)。論文針對Kinect所獲深度圖像中存在的孔洞問題,通過研究國內(nèi)外研究者對于 Kinect深度孔洞的修復(fù)方法的優(yōu)勢與不足,提出了一種基于平面擬合和區(qū)域一致性測度(Region Consistency Metric)的深度圖像修復(fù)方案。該方案通過將具有相似顏色信息像素分割為同一平面,并將其擬合為空間中的3D平面,來對丟失信息的像素進行信息填補;在此基礎(chǔ)上,本文通過在傳統(tǒng)的聯(lián)合雙邊濾波器中加

4、入了區(qū)域一致性測度項,能夠有效地填補深度圖像中的剩余孔洞,并能夠較好地恢復(fù)出深度圖像細(xì)節(jié)。最后,文章通過實驗證明,在填補由主動式設(shè)備獲取的深度圖像中存在的孔洞時,本文算具有較好地的應(yīng)用效果。
　　對于被動視差估計算法,論文提出了一種基于馬爾科夫隨機場(Markov Random Field, MRF)上全局能量優(yōu)化框架下的三視點視差序列提取算法。在本文算法中,明確地提出了遮擋信息及時空域約束,并將其加入匹配函數(shù)中,作為軟性約束在一

5、個迭代的框架內(nèi)進行優(yōu)化。視差圖像通過AD-Census匹配代價以及置信傳播算法進行初始化,隨后,利用基于多參數(shù)Meanshift平面分割的平面融合技術(shù)進行平面約束。進一步地,本文考慮了三視點視差圖像應(yīng)滿足的空間域一致性要求來進行結(jié)果優(yōu)化。為了使我們的算法更加有效,我們將其實現(xiàn)在一個迭代框架內(nèi),進行遮擋區(qū)域和視差圖像的迭代更新;對于時域約束,算法利用光流法尋找到相鄰幀之間的匹配點,然后將其視差變化作為約束加入了我們的能量函數(shù)中。最后,我們

6、利用亞像素估計算法得到最終的視差圖像序列。本文所提算法將低紋理區(qū)域、遮擋區(qū)域、時空域約束等進行統(tǒng)一考慮,并加入到了一個統(tǒng)一的迭代更新框架內(nèi),提高了實驗結(jié)果全局尋優(yōu)的能力。實驗結(jié)果表明,本文算法能夠獲取在時空域上準(zhǔn)確而連續(xù)的視差序列,并且保持清晰、銳利的視差邊緣。通過在Middlebury數(shù)據(jù)庫上進行實驗,證明了本文算法提取視差圖像具有較高的準(zhǔn)確性。在時域約束方面,通過利用本文算法所提出的時域約束對視差圖像序列進行優(yōu)化,并利用優(yōu)化后的視差