2D視頻轉(zhuǎn)3D視頻的空洞處理方法研究.pdf

1、隨著顯示設(shè)備的發(fā)展，3D電視在市場上普及開來，裸眼3D電視也正在進(jìn)入人們的生活。3D顯示給觀眾帶來了更真實(shí)更震撼的體驗(yàn)，供給裸眼顯示設(shè)備的多視點(diǎn)內(nèi)容卻遠(yuǎn)遠(yuǎn)不能滿足廣大消費(fèi)者的需求。3D內(nèi)容的欠缺是目前制約3D推廣發(fā)展的因素之一，因此2D轉(zhuǎn)3D或者雙目轉(zhuǎn)多目技術(shù)就成為3D視頻生成的關(guān)鍵技術(shù)。基于深度圖的繪制(Depth Image Based Rendering，DIBR)因?yàn)榧嫒菪院?、質(zhì)量較高、靈活性強(qiáng)等特點(diǎn)成為3D內(nèi)容制作的重要方法。

2、利用通常的圖像數(shù)據(jù)和對應(yīng)的深度圖可以合成虛擬視點(diǎn)圖像，虛擬視點(diǎn)圖像和原圖像有可調(diào)節(jié)的視差，多幅虛擬視點(diǎn)圖像就和原圖一起組成了多視點(diǎn)內(nèi)容，在立體顯示設(shè)備播放。利用已有的視頻內(nèi)容生成供裸眼顯示設(shè)備播放的多視點(diǎn)內(nèi)容成為市場的迫切需求?；谏疃葓D繪制的虛擬視點(diǎn)生成主要分為三步:深度圖獲取及處理、3D變換、空洞處理。由于場景中物體具有不同的景深及遮擋關(guān)系，在當(dāng)前視點(diǎn)中被遮擋的物體或背景，在虛擬視點(diǎn)中可能暴露出來。暴露的區(qū)域因缺乏有效信息，常稱為空

3、洞?？斩磪^(qū)域處理不當(dāng)，會嚴(yán)重影響觀眾的視覺體驗(yàn)。視頻中通常有各種各樣的場景，情況復(fù)雜，合成空洞區(qū)域真實(shí)的內(nèi)容非常具有挑戰(zhàn)性。因此空洞區(qū)域的處理就成為DIBR過程中重要的環(huán)節(jié)?？臻g一致性和時(shí)域穩(wěn)定性是虛擬視點(diǎn)的兩個(gè)重要因素，滿足這兩點(diǎn)就可以給觀眾良好的視覺體驗(yàn)。采用簡單的算法填補(bǔ)空洞區(qū)域，常會造成紋理錯(cuò)位、模糊，邊緣瑕疵，幀間閃爍等問題。本文針對基于深度圖繪制方法生成的虛擬視點(diǎn)存在空洞這一問題，分析總結(jié)已有算法，將圖像鄰域及視頻幀間信息用

4、于填補(bǔ)空洞，以改善虛擬視點(diǎn)圖像質(zhì)量。本文詳細(xì)討論實(shí)現(xiàn)了深度圖質(zhì)量對虛擬視點(diǎn)合成的影響、基于圖像修復(fù)的快速填補(bǔ)和基于樣例的空洞填補(bǔ)方法，改善了虛擬視點(diǎn)的質(zhì)量。
　　 本文主要從以下幾個(gè)方面展開了工作:
　　 1)深度圖預(yù)處理方面，重點(diǎn)實(shí)現(xiàn)比較了雙邊濾波，聯(lián)合雙邊濾波、時(shí)空域結(jié)合的濾波對深度圖質(zhì)量的改進(jìn)，實(shí)驗(yàn)通過深度圖預(yù)處理改進(jìn)虛擬視點(diǎn)質(zhì)量的途徑。
　　 2)針對邊緣插值法在填補(bǔ)空洞時(shí)瑕疵明顯的缺點(diǎn)，利用圖像快速修復(fù)

5、技術(shù)，對空洞區(qū)域進(jìn)行填補(bǔ)，修復(fù)過程中利用方向化的快速行進(jìn)法，從背景向前景進(jìn)行修復(fù)，保證了距離初始邊界較近的點(diǎn)優(yōu)先修復(fù)。該方法為鄰域方法，計(jì)算相對簡單，紋理簡單區(qū)域能較好修復(fù);修復(fù)過程不受深度圖質(zhì)量影響。
　　 3)對視頻中空洞，采用基于圖像樣例塊的修復(fù)方法，對空洞區(qū)域進(jìn)行幀間或鄰域采樣，尋找與空洞點(diǎn)鄰域最相似圖像塊來填補(bǔ)當(dāng)前空洞。利用視頻的幀間信息，對當(dāng)前視點(diǎn)遮擋的區(qū)域，通過在其他幀中搜索對應(yīng)信息的出現(xiàn)，填補(bǔ)此類空洞。本文主要分