基于多視點三維視頻系統(tǒng)的若干關(guān)鍵技術(shù)研究.pdf

1、二十一世紀(jì)，隨著多視點視頻技術(shù)的崛起，在世界范圍內(nèi)掀起了對新一代三維電視(3DTV)的研究熱潮。與傳統(tǒng)的二維(2D)視頻顯示相比，多視點視頻由于增加了多個視點的信息及隱含的深度信息，能夠給予觀眾很強的立體感和沉浸感。除此之外，其視點交互選擇性能還能使用戶從不同角度欣賞3D立體場景。然而，對多視點視頻技術(shù)的研究還處在探索階段，其在采集、傳輸、處理、視點重建等方面普遍存在的理論及實現(xiàn)問題以及由于多個視點數(shù)據(jù)的引入而帶來的巨大的數(shù)據(jù)量問題，這

2、成為制約多視點視頻技術(shù)發(fā)展的瓶頸。 多視點視頻系統(tǒng)主要包括場景采集、編碼傳輸及繪制顯示，采集獲取符合系統(tǒng)要求的多視點數(shù)據(jù)，編碼將多視點數(shù)據(jù)進行高效壓縮后傳輸，繪制完成多視點數(shù)據(jù)重構(gòu)后進行交互顯示。本文研究多視點視頻系統(tǒng)的采集、編碼及繪制等關(guān)鍵技術(shù)，并在理論研究的基礎(chǔ)上構(gòu)建了以多視點視頻技術(shù)為核心的3DTV原型實驗系統(tǒng)。 關(guān)于多視點場景的采集與繪制之間的關(guān)系，目前國際國內(nèi)的研究機構(gòu)在建立多視點采集系統(tǒng)時較少考慮采集系統(tǒng)的參

3、數(shù)(如相機間距、姿態(tài)、數(shù)目等)與繪制端重建方法以及效果之間的約束關(guān)系，而較多考慮通過增加相機數(shù)目(即視點數(shù))來提高繪制質(zhì)量，雖然視點數(shù)量越多，可視區(qū)則越密集，會使具有立體視覺的觀看范圍越大、立體真實感也越強，但是視點數(shù)越多、需傳輸?shù)男畔⒘烤驮酱螅瑢Χ嘁曇曨l編碼壓縮效率的要求也越高，尤其是現(xiàn)有的多視點立體顯示方式的顯示分辨率會隨視點數(shù)的增加而明顯地降低。因此針對上述多視點視頻的采集與繪制之間的優(yōu)化問題，本文在對該相機系統(tǒng)進行建模，并對采集

4、的多視點的視頻數(shù)據(jù)進行分析。由于多視點數(shù)據(jù)可以看作是被采集的三維場景的光線集合，其在相機中成像的多視點視頻圖像可以理解為來自于場景中物體反射光線及直接由光源發(fā)出光線的集合。因此，經(jīng)典的7維全光函數(shù)可以簡化為6維的函數(shù)，即表面全光函數(shù)(Surface Plenoptic Function)?；诒砻嫒夂瘮?shù)，本文綜合考慮采集系統(tǒng)所涉及的各項參數(shù)(場景幾何信息、場景物體表面紋理、物體表面反射特性、景深、相機分辨率、虛擬相機分辨率、相機鏡頭焦

5、距、相機陣列擺放狀態(tài)和相機間距)，通過信號采樣理論分析得到無失真重建視點的最優(yōu)條件，然后又對場景的EPI(Epipolar Image)圖像進行了光譜分析，得出場景EPI光譜特性與場景深度變化范圍的關(guān)系。根據(jù)上述分析確定合適的采樣圖像數(shù)目，并設(shè)計視點重建濾波器，通過插值技術(shù)為重建新視點生成采樣圖像，最后根據(jù)相機模型設(shè)計繪制重建方法得到在要求范圍之內(nèi)的三維場景新視點。實驗時分別對具有相似參數(shù)的模擬場景及實際場景進行驗證，均得到良好質(zhì)量的視

6、點重建。與傳統(tǒng)的信號采樣理論相比，本文方法所得到的相機采集數(shù)目及間距適合工程使用，且根據(jù)得出的相機數(shù)目、間距與特定重建方法之間的約束關(guān)系，在僅僅使用經(jīng)典采樣理論所需20％數(shù)目的采樣圖像的情況下，就能夠重建出質(zhì)量較好的新視點圖像。 在優(yōu)化采集端的相機設(shè)置及繪制端的新視點重建之后，多視點視頻數(shù)據(jù)的壓縮傳輸成為多視點視頻系統(tǒng)中需要深入研究的關(guān)鍵問題之一。與傳統(tǒng)的二維視頻(即單視點視頻)相比，多視點視頻中包含所有各路相機形成的視頻流，視

7、頻數(shù)掘量非常巨大。由于多視點視頻編碼包含同一場景內(nèi)多個視點圖像，視點之間有著高度的相關(guān)性。因此，除了像在2D視頻編碼中那樣利用時空冗余達到數(shù)據(jù)壓縮編碼目的外，更重要的是還應(yīng)消除不同視點間的視間預(yù)測冗余。根據(jù)上述思想，本文提出了一種新的“合成矢量”預(yù)測結(jié)構(gòu)，該預(yù)測結(jié)構(gòu)充分利用了傳統(tǒng)立體視頻中兩路視頻流中的視差矢量與運動矢量之間的約束關(guān)系，并將其拓展到多視點視頻的編碼單元中。同時，針對平行設(shè)置的相機采集系統(tǒng)，有效地利用視點之間矢量的線性關(guān)系

8、來進一步提高多視點的編碼效率。實驗結(jié)果表明，該編碼方案比現(xiàn)有的Simulcast和JMVM方案在編碼效率上可提高0.2～0.5dB。 在上述建立合適的相機采集系統(tǒng)及提出高效的編碼壓縮方法后，如何進一步設(shè)計出多視點虛擬視繪制的方法以及提高虛擬視的質(zhì)量也是基于多視點視頻的三維系統(tǒng)的一項關(guān)鍵技術(shù)。為了生成較好質(zhì)量的虛擬視，目前的繪制方法大多需要密集的相機陣列來采集數(shù)目較大的多視點源圖像，如前所述，這必然會增加壓縮編碼的負(fù)擔(dān)。若不采用密

9、集的相機陣列，僅從稀疏的相機陣列中獲取多視點數(shù)據(jù)，通過插值算法或是上采樣運算，然后進行虛擬視的繪制，這樣必然會將算法的誤差引入最終的虛擬視中，導(dǎo)致其質(zhì)量的嚴(yán)重下降。為此，本文提出一種基于校正區(qū)域映射及圖像融合的虛擬視生成算法，以盡量減小虛擬視的視覺誤差，最大限度的提高虛擬視圖質(zhì)量。深度信息是基于深度繪制的關(guān)鍵信息，為獲取深度信息，本文提出一種基于平面掃描算法的場景深度信息校正方法。實驗證明，該方法不論從主觀質(zhì)量或是客觀質(zhì)量上均優(yōu)于現(xiàn)有的