單側(cè)視點(diǎn)合成方法研究及其在多視點(diǎn)視頻編碼中的應(yīng)用.pdf

1、2D視頻將現(xiàn)實(shí)世界的三維空間投射到二維空間，保留了場(chǎng)景的二維信息，卻失去了空間層次信息。為了彌補(bǔ)2D視頻的空間立體感，增強(qiáng)畫面感染力，3D視頻應(yīng)運(yùn)而生。受眾的需求、商業(yè)的重視、技術(shù)的支持，三者的有力結(jié)合使得3D視頻在出現(xiàn)后的短短時(shí)間內(nèi)，迅速發(fā)展。如《阿凡達(dá)》之類3D影視作品的推出，大受觀眾追捧。因此，多視點(diǎn)、立體視視頻編碼技術(shù)成為了世界范圍內(nèi)多媒體技術(shù)的研究熱點(diǎn)，為不斷涌現(xiàn)的產(chǎn)品和應(yīng)用提供了有力的技術(shù)支持。
　　網(wǎng)絡(luò)帶寬隨著硬件設(shè)

2、備的更新而不斷增加，相較之下，視頻數(shù)據(jù)量卻以更快的速度增加，這就越來越凸顯出視頻壓縮的重要性。視頻壓縮技術(shù)不斷提升著編碼效率，為需要處理大量數(shù)據(jù)的視頻應(yīng)用提供了可能。多視點(diǎn)視頻，是指從多個(gè)角度，采用多個(gè)攝像機(jī)同時(shí)拍攝同一場(chǎng)景，得到多個(gè)視角視頻的特殊視頻數(shù)據(jù)。其數(shù)據(jù)量隨著攝像機(jī)數(shù)量的增加而增加，遠(yuǎn)遠(yuǎn)甚于普通二維視頻單一視點(diǎn)的數(shù)據(jù)量。為了編碼多視點(diǎn)視頻數(shù)據(jù)，目前的主流方法是在2D視頻編碼方法的基礎(chǔ)上，利用視點(diǎn)間相關(guān)性進(jìn)一步減少預(yù)測(cè)殘差，增強(qiáng)

3、編碼效果。HHI提出的分層次B幀預(yù)測(cè)結(jié)構(gòu)，因其簡(jiǎn)單對(duì)稱的預(yù)測(cè)結(jié)構(gòu)和出眾的編碼性能，被多視視頻編碼專家組列為國際標(biāo)準(zhǔn)。其基本思想就是將視間預(yù)測(cè)與時(shí)域預(yù)測(cè)結(jié)合起來，利用視點(diǎn)間相關(guān)性減少預(yù)測(cè)殘差能量，繼而增強(qiáng)編碼效率。
　　很多應(yīng)用中，多視視頻數(shù)據(jù)通常采用一種2D紋理+深度的表示格式。深度信息是描述場(chǎng)景中物體與攝像機(jī)距離的數(shù)據(jù)，該結(jié)構(gòu)對(duì)于需要同時(shí)處理深度和紋理信息的應(yīng)用有著較大的優(yōu)勢(shì)。在解碼端，基于深度和紋理信息，采用warping變換

4、，能夠從一個(gè)視點(diǎn)合成另一個(gè)視點(diǎn)的虛擬視點(diǎn)。該虛擬視點(diǎn)與拍攝直接得到的視點(diǎn)具有很高的相似性，在某些應(yīng)用中可以替代它們，這是視點(diǎn)合成的一個(gè)主要用途。另一方面，在編碼端，虛擬視點(diǎn)可作為額外的參考視點(diǎn)，增強(qiáng)當(dāng)前視點(diǎn)的編碼效率，這是視點(diǎn)合成預(yù)測(cè)的基本原理。
　　目前，標(biāo)準(zhǔn)視點(diǎn)合成技術(shù)采用當(dāng)前視點(diǎn)兩側(cè)的相鄰視點(diǎn)分別合成得到當(dāng)前視點(diǎn)的兩個(gè)虛擬視點(diǎn)，合并二者以消除單側(cè)虛擬視點(diǎn)中不可避免的空洞。本文提出一種基于插值和背景建模的單側(cè)視點(diǎn)合成技術(shù)，嘗試