提高三維視頻深度編碼性能的技術(shù)研究.pdf

1、三維視頻(Three Dimensional Video，3DV)能夠給觀眾帶來當(dāng)前場(chǎng)景的深度信息，從而更加接近人的現(xiàn)實(shí)感受，因此受到了廣泛關(guān)注。多視點(diǎn)視頻加深度(Multi-view Video plus Depth，MVD)具有良好的標(biāo)準(zhǔn)兼容性，并且利用基于深度圖像的繪制(Depth Image-Based Rendering，DIBR)技術(shù)能夠在解碼端任意視點(diǎn)位置合成虛擬視點(diǎn)，實(shí)現(xiàn)自由立體電視應(yīng)用。因此，被運(yùn)動(dòng)圖像專家組(Movi

2、ngPictures Experts Group，MPEG)選為新一代3DV視頻編碼標(biāo)準(zhǔn)的數(shù)據(jù)格式。相比于視頻圖像，深度圖中含有大面積平坦區(qū)域，僅在物體邊緣部分呈現(xiàn)出尖銳截止現(xiàn)象，并且深度圖不直接用于觀看，而是主要用于解碼端的虛擬視點(diǎn)合成。由于新引入的深度信息也需要進(jìn)行編碼，并利用帶寬有限的傳輸設(shè)備傳輸至解碼端，這對(duì)于編碼器的編碼效率提出了更高要求。本文重點(diǎn)研究了3DV中深度信息的高效編碼方法，主要研究內(nèi)容如下:
　　由于目前消費(fèi)

3、級(jí)顯示器解碼計(jì)算能力的限制，MPEG對(duì)編解碼器處理的3DV數(shù)據(jù)量做出了限制?？紤]到觀眾在觀看雙目視頻時(shí)，最終感知的視頻質(zhì)量主要受到其中質(zhì)量較強(qiáng)一路視頻的主導(dǎo)，為了降低3DV的數(shù)據(jù)量并提高編碼效率，本文提出，對(duì)于三個(gè)視點(diǎn)的情況，將左路和右路視點(diǎn)的視頻與深度信息進(jìn)行空間1/2下采樣，解碼端再進(jìn)行上采樣恢復(fù)至原始分辨率。由于中間視點(diǎn)將一直用于解碼端的虛擬視點(diǎn)合成，因此不對(duì)其進(jìn)行采樣處理。此外，在編碼中間視點(diǎn)時(shí)，將邊路視點(diǎn)進(jìn)行上采樣用作中間視點(diǎn)

4、的參考信息，以降低視點(diǎn)間冗余。所提方法在滿足數(shù)據(jù)量限制條件的前提下，提高了3DV的編碼效率。
　　現(xiàn)有編碼器中變換量化操作使得深度圖中尖銳的物體邊緣變得模糊，降低了虛擬合成視點(diǎn)質(zhì)量。為了恢復(fù)深度圖中的尖銳邊緣信息，本文基于深度圖的特性以及深度圖與對(duì)應(yīng)視頻圖像的相關(guān)性，提出了一種基于三邊濾波器的邊緣重建方法。所提算法結(jié)合深度圖邊緣兩側(cè)像素較為平滑的特點(diǎn)，對(duì)于三邊濾波器中濾波參考像素集合的基準(zhǔn)點(diǎn)選取方法進(jìn)行了改進(jìn)。同時(shí)為了避免引入新濾

5、波像素值，提出利用中值濾波代替原有的加權(quán)計(jì)算方法。所提方法明顯提高了深度圖邊緣的恢復(fù)質(zhì)量和虛擬合成視點(diǎn)質(zhì)量。
　　現(xiàn)有編碼器一般采用率失真優(yōu)化(Rate Distortion Optimization，RDO)準(zhǔn)則，通過對(duì)每一個(gè)宏塊(Macro-Block，MB)遍歷所有候選模式選取最佳模式。雖然提高了編碼效率，但是卻大大增加了編碼復(fù)雜度。為了降低深度編碼復(fù)雜度，本文提出了一種基于分級(jí)B預(yù)測(cè)結(jié)構(gòu)的快速編碼方法。該方法利用分級(jí)B預(yù)測(cè)

6、結(jié)構(gòu)中較高時(shí)間層(Temporal Level，TL)內(nèi)編碼幀與參考幀之間時(shí)間間隔短，時(shí)域相關(guān)性強(qiáng)，且編碼幀中采用大尺寸編碼模式MB比例高的特點(diǎn)，結(jié)合深度圖由大面積平坦區(qū)域和尖銳邊緣組成的特性，對(duì)處于不同TL內(nèi)的編碼幀分別制定了不同強(qiáng)度的候選模式精簡策略，跳過不必要的小尺寸編碼模式。所提算法在保證編碼性能前提下，有效降低了編碼復(fù)雜度。
　　對(duì)于處于深度圖平坦區(qū)域中的MB，由于采用不同編碼模式產(chǎn)生的量化殘差編碼比特?cái)?shù)經(jīng)常為零，以及失

7、真較小且相等，模式判決的結(jié)果主要由模式頭信息編碼比特?cái)?shù)決定。為了進(jìn)一步降低編碼復(fù)雜度，提出了一種率失真性能不變的早期截止算法。所提算法中，所有候選模式按照其對(duì)應(yīng)最小頭信息比特?cái)?shù)計(jì)算的固有最小率失真代價(jià)函數(shù)值升序排列。在完成每一個(gè)候選模式的率失真代價(jià)函數(shù)值計(jì)算之后，將更新之后的最小率失真代價(jià)函數(shù)值與下一候選模式的固有最小率失真代價(jià)函數(shù)值進(jìn)行比較，以判斷是否終止當(dāng)前模式判決過程。所提算法使得編碼復(fù)雜度大大降低，且編碼率失真性能不發(fā)生變化。<

8、br>　　為了提高深度圖Ⅰ幀的編碼效率，提出一種Ⅰ幀MB模式跳過編碼方法。該方法充分考慮了深度圖像含有大面積平坦區(qū)域，且平坦區(qū)域內(nèi)空間相鄰MB編碼模式之間存在較強(qiáng)相關(guān)性的特點(diǎn)。在此基礎(chǔ)上，提出利用空間相鄰已編碼MB模式預(yù)測(cè)當(dāng)前MB模式，并對(duì)MB模式與預(yù)測(cè)模式相等的MB進(jìn)行模式跳過編碼。另外，為了降低現(xiàn)有標(biāo)準(zhǔn)在編碼平坦區(qū)域MB殘差系數(shù)過程中引入的指示信息冗余，進(jìn)一步提出幀內(nèi)MB跳過編碼方法。它可以同時(shí)跳過平坦區(qū)域中MB模式與殘差系數(shù)的編碼

9、，進(jìn)而降低編碼冗余。所提兩種方法位于MB模式選擇之后的MB編碼階段，因此對(duì)重建幀質(zhì)量沒有任何影響。利用所提方法可以有效提高深度圖像的編碼效率。
　　針對(duì)利用現(xiàn)有幀內(nèi)編碼算法編碼深度圖巾含有邊緣的MB效率較低的問題，提出了一種利用視頻與深度圖之間相關(guān)性的邊緣跳過編碼方法。該方法利用聚類算法從當(dāng)前深度編碼MB及其參考像素部分對(duì)應(yīng)的視頻區(qū)域獲得邊緣信息，以此作為當(dāng)前深度編碼MB及其參考像素的分割邊緣信息，然后利用所得分割邊緣信息將參考像