基于多視點(diǎn)三維視頻系統(tǒng)的若干關(guān)鍵技術(shù)研究.pdf

1、二十一世紀(jì)，隨著多視點(diǎn)視頻技術(shù)的崛起，在世界范圍內(nèi)掀起了對(duì)新一代三維電視(3DTV)的研究熱潮。與傳統(tǒng)的二維(2D)視頻顯示相比，多視點(diǎn)視頻由于增加了多個(gè)視點(diǎn)的信息及隱含的深度信息，能夠給予觀眾很強(qiáng)的立體感和沉浸感。除此之外，其視點(diǎn)交互選擇性能還能使用戶從不同角度欣賞3D立體場(chǎng)景。然而，對(duì)多視點(diǎn)視頻技術(shù)的研究還處在探索階段，其在采集、傳輸、處理、視點(diǎn)重建等方面普遍存在的理論及實(shí)現(xiàn)問(wèn)題以及由于多個(gè)視點(diǎn)數(shù)據(jù)的引入而帶來(lái)的巨大的數(shù)據(jù)量問(wèn)題，這

2、成為制約多視點(diǎn)視頻技術(shù)發(fā)展的瓶頸。 多視點(diǎn)視頻系統(tǒng)主要包括場(chǎng)景采集、編碼傳輸及繪制顯示，采集獲取符合系統(tǒng)要求的多視點(diǎn)數(shù)據(jù)，編碼將多視點(diǎn)數(shù)據(jù)進(jìn)行高效壓縮后傳輸，繪制完成多視點(diǎn)數(shù)據(jù)重構(gòu)后進(jìn)行交互顯示。本文研究多視點(diǎn)視頻系統(tǒng)的采集、編碼及繪制等關(guān)鍵技術(shù)，并在理論研究的基礎(chǔ)上構(gòu)建了以多視點(diǎn)視頻技術(shù)為核心的3DTV原型實(shí)驗(yàn)系統(tǒng)。 關(guān)于多視點(diǎn)場(chǎng)景的采集與繪制之間的關(guān)系，目前國(guó)際國(guó)內(nèi)的研究機(jī)構(gòu)在建立多視點(diǎn)采集系統(tǒng)時(shí)較少考慮采集系統(tǒng)的參

3、數(shù)(如相機(jī)間距、姿態(tài)、數(shù)目等)與繪制端重建方法以及效果之間的約束關(guān)系，而較多考慮通過(guò)增加相機(jī)數(shù)目(即視點(diǎn)數(shù))來(lái)提高繪制質(zhì)量，雖然視點(diǎn)數(shù)量越多，可視區(qū)則越密集，會(huì)使具有立體視覺的觀看范圍越大、立體真實(shí)感也越強(qiáng)，但是視點(diǎn)數(shù)越多、需傳輸?shù)男畔⒘烤驮酱?，?duì)多視視頻編碼壓縮效率的要求也越高，尤其是現(xiàn)有的多視點(diǎn)立體顯示方式的顯示分辨率會(huì)隨視點(diǎn)數(shù)的增加而明顯地降低。因此針對(duì)上述多視點(diǎn)視頻的采集與繪制之間的優(yōu)化問(wèn)題，本文在對(duì)該相機(jī)系統(tǒng)進(jìn)行建模，并對(duì)采集

4、的多視點(diǎn)的視頻數(shù)據(jù)進(jìn)行分析。由于多視點(diǎn)數(shù)據(jù)可以看作是被采集的三維場(chǎng)景的光線集合，其在相機(jī)中成像的多視點(diǎn)視頻圖像可以理解為來(lái)自于場(chǎng)景中物體反射光線及直接由光源發(fā)出光線的集合。因此，經(jīng)典的7維全光函數(shù)可以簡(jiǎn)化為6維的函數(shù)，即表面全光函數(shù)(Surface Plenoptic Function)?；诒砻嫒夂瘮?shù)，本文綜合考慮采集系統(tǒng)所涉及的各項(xiàng)參數(shù)(場(chǎng)景幾何信息、場(chǎng)景物體表面紋理、物體表面反射特性、景深、相機(jī)分辨率、虛擬相機(jī)分辨率、相機(jī)鏡頭焦

5、距、相機(jī)陣列擺放狀態(tài)和相機(jī)間距)，通過(guò)信號(hào)采樣理論分析得到無(wú)失真重建視點(diǎn)的最優(yōu)條件，然后又對(duì)場(chǎng)景的EPI(Epipolar Image)圖像進(jìn)行了光譜分析，得出場(chǎng)景EPI光譜特性與場(chǎng)景深度變化范圍的關(guān)系。根據(jù)上述分析確定合適的采樣圖像數(shù)目，并設(shè)計(jì)視點(diǎn)重建濾波器，通過(guò)插值技術(shù)為重建新視點(diǎn)生成采樣圖像，最后根據(jù)相機(jī)模型設(shè)計(jì)繪制重建方法得到在要求范圍之內(nèi)的三維場(chǎng)景新視點(diǎn)。實(shí)驗(yàn)時(shí)分別對(duì)具有相似參數(shù)的模擬場(chǎng)景及實(shí)際場(chǎng)景進(jìn)行驗(yàn)證，均得到良好質(zhì)量的視

6、點(diǎn)重建。與傳統(tǒng)的信號(hào)采樣理論相比，本文方法所得到的相機(jī)采集數(shù)目及間距適合工程使用，且根據(jù)得出的相機(jī)數(shù)目、間距與特定重建方法之間的約束關(guān)系，在僅僅使用經(jīng)典采樣理論所需20％數(shù)目的采樣圖像的情況下，就能夠重建出質(zhì)量較好的新視點(diǎn)圖像。 在優(yōu)化采集端的相機(jī)設(shè)置及繪制端的新視點(diǎn)重建之后，多視點(diǎn)視頻數(shù)據(jù)的壓縮傳輸成為多視點(diǎn)視頻系統(tǒng)中需要深入研究的關(guān)鍵問(wèn)題之一。與傳統(tǒng)的二維視頻(即單視點(diǎn)視頻)相比，多視點(diǎn)視頻中包含所有各路相機(jī)形成的視頻流，視

7、頻數(shù)掘量非常巨大。由于多視點(diǎn)視頻編碼包含同一場(chǎng)景內(nèi)多個(gè)視點(diǎn)圖像，視點(diǎn)之間有著高度的相關(guān)性。因此，除了像在2D視頻編碼中那樣利用時(shí)空冗余達(dá)到數(shù)據(jù)壓縮編碼目的外，更重要的是還應(yīng)消除不同視點(diǎn)間的視間預(yù)測(cè)冗余。根據(jù)上述思想，本文提出了一種新的“合成矢量”預(yù)測(cè)結(jié)構(gòu)，該預(yù)測(cè)結(jié)構(gòu)充分利用了傳統(tǒng)立體視頻中兩路視頻流中的視差矢量與運(yùn)動(dòng)矢量之間的約束關(guān)系，并將其拓展到多視點(diǎn)視頻的編碼單元中。同時(shí)，針對(duì)平行設(shè)置的相機(jī)采集系統(tǒng)，有效地利用視點(diǎn)之間矢量的線性關(guān)系

8、來(lái)進(jìn)一步提高多視點(diǎn)的編碼效率。實(shí)驗(yàn)結(jié)果表明，該編碼方案比現(xiàn)有的Simulcast和JMVM方案在編碼效率上可提高0.2～0.5dB。 在上述建立合適的相機(jī)采集系統(tǒng)及提出高效的編碼壓縮方法后，如何進(jìn)一步設(shè)計(jì)出多視點(diǎn)虛擬視繪制的方法以及提高虛擬視的質(zhì)量也是基于多視點(diǎn)視頻的三維系統(tǒng)的一項(xiàng)關(guān)鍵技術(shù)。為了生成較好質(zhì)量的虛擬視，目前的繪制方法大多需要密集的相機(jī)陣列來(lái)采集數(shù)目較大的多視點(diǎn)源圖像，如前所述，這必然會(huì)增加壓縮編碼的負(fù)擔(dān)。若不采用密

9、集的相機(jī)陣列，僅從稀疏的相機(jī)陣列中獲取多視點(diǎn)數(shù)據(jù)，通過(guò)插值算法或是上采樣運(yùn)算，然后進(jìn)行虛擬視的繪制，這樣必然會(huì)將算法的誤差引入最終的虛擬視中，導(dǎo)致其質(zhì)量的嚴(yán)重下降。為此，本文提出一種基于校正區(qū)域映射及圖像融合的虛擬視生成算法，以盡量減小虛擬視的視覺誤差，最大限度的提高虛擬視圖質(zhì)量。深度信息是基于深度繪制的關(guān)鍵信息，為獲取深度信息，本文提出一種基于平面掃描算法的場(chǎng)景深度信息校正方法。實(shí)驗(yàn)證明，該方法不論從主觀質(zhì)量或是客觀質(zhì)量上均優(yōu)于現(xiàn)有的