基于圖像修復(fù)的虛擬視點(diǎn)合成算法研究.pdf

1、一部3D大片《阿凡達(dá)》，揭開了“3D元年”的序幕，也讓“3D”概念在國(guó)內(nèi)市場(chǎng)風(fēng)生水起。國(guó)內(nèi)外各大電視廠商紛紛力推旗下3D電視，得益于大規(guī)模集成電路及信息技術(shù)的進(jìn)步，原本價(jià)格高昂的3D電視進(jìn)入了尋常百姓家。在硬件廠商力推3D電視普及的同時(shí)，3D內(nèi)容極其匱乏的事實(shí)，也成為了業(yè)內(nèi)專家、普通老百姓關(guān)注的焦點(diǎn)。3D內(nèi)容缺失導(dǎo)致3D電視不能使用的現(xiàn)象一旦發(fā)生，將對(duì)后續(xù)3D電視的發(fā)展產(chǎn)生巨大的阻礙作用。據(jù)對(duì)國(guó)內(nèi)視頻影視內(nèi)容市場(chǎng)進(jìn)行的統(tǒng)計(jì)，3D內(nèi)容在整

2、個(gè)內(nèi)容市場(chǎng)中的總量不超過1％，即便加上新制作的內(nèi)容，短期內(nèi)3D格式的也很難提升到10％以上。
　　 因此，若想將3D影像技術(shù)融入一般人的生活當(dāng)中，勢(shì)必要讓3D內(nèi)容能輕易產(chǎn)生且快速地制作。這也成為眾多電視廠商和電視節(jié)目制作公司正在竭盡全力試圖解決的難題。在現(xiàn)有3D視頻拍攝技術(shù)不完善、拍攝成本高昂、片源匱乏的情況下，二維到三維視頻轉(zhuǎn)換技術(shù)成了業(yè)界公認(rèn)的最佳解決方案，其中虛擬視點(diǎn)合成是二維到三維視頻轉(zhuǎn)換過程中的關(guān)鍵技術(shù)?；谏疃葓D像的

3、繪制(DepthImageBasedRendering，DIBR)是近年來(lái)才新興的虛擬視點(diǎn)合成技術(shù)，它利用參考圖像及其對(duì)應(yīng)的深度圖像通過三維圖像變換（3DImageWarp）生成目標(biāo)視點(diǎn)圖像，具有繪制速度快，帶寬需求小的優(yōu)點(diǎn)。該技術(shù)的一個(gè)主要問題是目標(biāo)視點(diǎn)圖像內(nèi)部存在暴露區(qū)域，即空洞問題?？斩词怯捎趨⒖家朁c(diǎn)圖像中一些不可見的像素點(diǎn)在目標(biāo)視點(diǎn)圖像中成為可見點(diǎn)而引起的現(xiàn)象。為獲得高質(zhì)量的目標(biāo)視點(diǎn)圖像，DIBR技術(shù)需要和數(shù)字圖像處理技術(shù)相結(jié)合

4、來(lái)填補(bǔ)空洞。目前空洞填補(bǔ)主要采用以下三種的方法:深度圖預(yù)處理法、多參考視點(diǎn)繪制法、空洞后處理法。但深度圖預(yù)處理法會(huì)使虛擬視點(diǎn)圖像中物體產(chǎn)生明顯的幾何失真，當(dāng)虛擬視點(diǎn)與源參考視點(diǎn)較遠(yuǎn)時(shí)，空洞填補(bǔ)效果也并不明顯;利用多個(gè)參考視點(diǎn)來(lái)繪制虛擬視點(diǎn)不僅計(jì)算復(fù)雜度高且需要很大的傳輸帶寬;簡(jiǎn)單地采用背景、紋理、相鄰像素對(duì)空洞進(jìn)行填補(bǔ)或者對(duì)空洞邊緣進(jìn)行線性插值效果并不理想。
　　 本文在對(duì)雙目立體視覺以及三維立體顯示技術(shù)簡(jiǎn)要介紹的基礎(chǔ)上，引出了

5、虛擬視點(diǎn)合成技術(shù)，并著重介紹了DIBR技術(shù)原理及技術(shù)難點(diǎn)，并提出了基于圖像修復(fù)的虛擬視點(diǎn)合成算法。該算法分為兩個(gè)部分，首先提出了“基于圖像修復(fù)后處理的虛擬視點(diǎn)合成算法”，接著對(duì)上述算法進(jìn)行了改進(jìn)，提出了“基于深度圖分層的虛擬視點(diǎn)合成算法”。該算法有效填補(bǔ)了虛擬視點(diǎn)目標(biāo)圖像中出現(xiàn)的空洞，減少了圖像失真，從而生成高質(zhì)量的虛擬視點(diǎn)圖像。
　　 第一部分，根據(jù)DIBR和圖像修復(fù)的原理提出了“基于圖像修復(fù)后處理的虛擬視點(diǎn)合成算法”，該算法

6、將深度圖像預(yù)處理和圖像修復(fù)相結(jié)合來(lái)填補(bǔ)DIBR三維圖像變換后產(chǎn)生的空洞。相比傳統(tǒng)的DIBR算法，本文算法可以填補(bǔ)較大的空洞，提高了繪制圖像質(zhì)量，取得了一定的效果。
　　 第二部分，本文在第一部分中所提出的算法是針對(duì)DIBR三維圖像變換后產(chǎn)生的空洞進(jìn)行填補(bǔ)，包括對(duì)深度圖預(yù)處理以及對(duì)虛擬視點(diǎn)圖像中的空洞進(jìn)行圖像修復(fù)。由于該算法計(jì)算量比較大、空洞填補(bǔ)的效果也不是很理想，我們想到先對(duì)深度圖像進(jìn)行分層來(lái)區(qū)分前景和背景，再對(duì)前景邊緣易產(chǎn)生空