多視點視頻編碼及虛擬視點生成.pdf

1、為滿足視頻場景自然和真實再現(xiàn)的需求，具有立體視覺功能的多視點視頻技術(shù)正越來越受到學(xué)術(shù)界和工業(yè)界的重視，并成為視頻研究的熱點之一。多視點視頻蘊涵了景物的深度信息，在自然場景的表征上更具真實感，在3D電視、自由視點電視、具有臨場感的可視會議及虛擬現(xiàn)實等領(lǐng)域具有廣闊的應(yīng)用前景。多視點視頻具有巨大的數(shù)據(jù)量，存貯和傳輸十分困難，必須對其進(jìn)行高效的編碼(壓縮)。虛擬視點生成技術(shù)也可以有效減少所需要傳送的視頻流：在發(fā)送端，只需要在幾個關(guān)鍵視點進(jìn)行視頻

2、采集，同時也只需要傳送幾個關(guān)鍵視點的視頻流；在接收端，通過虛擬視點生成技術(shù)利用關(guān)鍵視點的視頻生成所需要視點的圖像。本文從視點間預(yù)測、快速模式選擇和虛擬視點生成三個方面對多視點視頻系統(tǒng)進(jìn)行了研究。
　　 在多視點視頻中，除了各個視頻流內(nèi)部具有很強(qiáng)的空間和時間相關(guān)性之外，各視點之間也具有一定的交叉相關(guān)性，如何有效地利用這些相關(guān)性是提高多視點視頻壓縮效率的關(guān)鍵。同時在多視點視頻中，由于各攝像機(jī)接收到的光線強(qiáng)度、增益和電平等的不同導(dǎo)致實

3、際獲得的多視點視頻圖像之間存在著顏色(包括亮度和色差信號)差異，從而影響多視點視頻的壓縮性能。本文首先分析了多視點視頻中視點間各種相關(guān)性的相對大小和視差預(yù)測特性，在視差預(yù)測中引入全局視差預(yù)測編碼模式，并將其集成到多模式預(yù)測編碼中，提高了壓縮效率；其次為減少編碼視差矢量和運動矢量所需的比特數(shù)，提出了改進(jìn)的視差矢量和運動矢量預(yù)測方法；最后在分析不同視點圖像之間顏色差異的基礎(chǔ)上對其進(jìn)行建模，并根據(jù)模型的簡化程度提出和實現(xiàn)了多種基于顏色差異補償

4、的視差預(yù)測編碼方法：全局線性顏色差異補償、全局非線性顏色差異補償、局部顏色差異補償、全局與局部自適應(yīng)的顏色差異補償。
　　 多視點視頻編碼通過結(jié)合運動估計和視差估計可以獲得比較高的壓縮效率，但其存在運動估計、視差估計和宏塊模式選擇的計算量非常大的缺點。因此，針對多視點視頻編碼的快速算法對于多視點視頻技術(shù)實用化具有非常重要的意義。本文在統(tǒng)計分析多視點視頻編碼中宏塊模式選擇特性的基礎(chǔ)上，針對多視點視頻編碼結(jié)構(gòu)中的三種預(yù)測類型(幀內(nèi)預(yù)