3D視頻的深度圖優(yōu)化與深度編碼方法研究.pdf

1、3D視頻與2D視頻的本質(zhì)區(qū)別就在于3D在2D的基礎(chǔ)上添加了深度信息,能夠產(chǎn)生立體視覺感受,使其在自然場(chǎng)景的表征上更具真實(shí)感。深度信息是3D場(chǎng)景捕獲中一個(gè)非常重要的幾何量,它反映的是場(chǎng)景中物體到成像平面的距離。由于深度圖與紋理圖相比不僅更能節(jié)省碼流,還能方便靈活的利用DIBR繪制出不同視角的虛擬視點(diǎn);而且,近幾年來,隨著深度相機(jī)技術(shù)的迅速發(fā)展,價(jià)格適中的深度相機(jī)的推出為深度圖的獲取提供了直接快速的方式。所以,無(wú)論是從理論上還是從實(shí)際應(yīng)用上

2、,基于深度的3D視頻都是非常有效和可行的方案。本文圍繞3D視頻中的深度圖展開,研究深度圖的優(yōu)化和高效編碼方法。本文的第一個(gè)部分重點(diǎn)研究高精度深度圖的獲取,它是后面研究工作開展的前提條件;后面三個(gè)部分研究的核心是利用深度圖的特性挖掘新的深度圖編碼方法,在提高深度編碼效率的同時(shí)保證合成視點(diǎn)的質(zhì)量。
　　深度相機(jī)雖然能方便、快捷地獲取場(chǎng)景的深度信息,但是由于技術(shù)的限制,目前的深度相機(jī)得到的深度圖存在分辨率低,有大量空洞等缺陷,無(wú)法直接應(yīng)

3、用到實(shí)際系統(tǒng)中。本文首先分析了圖像插值、圖像去噪等圖像處理問題中兩類統(tǒng)計(jì)建模方法的優(yōu)缺點(diǎn),針對(duì)深度圖像的特性,結(jié)合參數(shù)化模型和非參數(shù)化模型的優(yōu)點(diǎn),充分利用圖像不同分辨率之間的相似性以及圖像內(nèi)部的相似性特征,提出了一種基于混合參數(shù)模型的分級(jí)深度圖優(yōu)化方法。該方法在逐級(jí)修補(bǔ)深度圖空洞的同時(shí)保存了深度圖邊緣特征。
　　深度圖的特點(diǎn)是不用來輸出顯示,而是用來合成一個(gè)新的視點(diǎn),因此深度編碼中量化帶來的誤差會(huì)造成合成視點(diǎn)的失真,應(yīng)該用合成視點(diǎn)

4、的失真來衡量深度編碼的失真。本文從這個(gè)角度出發(fā),探索一種以合成視點(diǎn)失真最小化為目標(biāo)的深度編碼方法。通過推導(dǎo)深度失真與幾何失真的關(guān)系,以及幾何失真與合成視點(diǎn)失真的關(guān)系,建立深度失真與合成視點(diǎn)失真模型,并將此模型應(yīng)用到深度編碼與聯(lián)合碼率分配中去。實(shí)驗(yàn)結(jié)果表明,與現(xiàn)有方法相比,本文方法能合理分配紋理和深度的編碼碼率,得到較高的視點(diǎn)合成質(zhì)量。
　　深度失真會(huì)帶來合成視點(diǎn)的失真,而且這些失真往往發(fā)生在圖像邊緣。傳統(tǒng)的基于MSE的失真衡量方法

5、對(duì)圖像里的每一個(gè)像素同等對(duì)待,不能真實(shí)反應(yīng)合成視點(diǎn)的質(zhì)量,本文將更符合人眼視覺特性的結(jié)構(gòu)相似性度量(StructuralSimilarityindex,SSIM)引入到深度編碼中,進(jìn)一步深入研究深度編碼中的合成視點(diǎn)優(yōu)化(SynthesizedViewOptimization,VSO)問題。本文首先建立了深度編碼失真與基于SSIM的合成視點(diǎn)失真模型;將此模型應(yīng)用到深度編碼的率失真優(yōu)化中,建立深度編碼碼率與合成視點(diǎn)失真之間的率失真模型;估計(jì)

6、基于SSIM的感知拉格朗日參數(shù),指導(dǎo)深度編碼的最優(yōu)模式選擇。實(shí)驗(yàn)結(jié)果表明,本文所提出的基于SSIM的合成視點(diǎn)優(yōu)化在率失真性能和主觀質(zhì)量上都要優(yōu)于基于軍方誤差(MeanSequareError,MSE)和JM的合成視點(diǎn)優(yōu)化方法。
　　深度圖在大部分區(qū)域是平滑的,僅僅在物體邊緣位置存在不連續(xù)區(qū)域,因此深度圖比一般的自然圖像具有更強(qiáng)的空間相關(guān)性。本文針對(duì)深度圖的這種特征提出了基于空域的深度上下采樣編碼方法。下采樣能大大減少編碼端的輸入數(shù)