基于GPU和RGBD數(shù)據(jù)的虛擬視點(diǎn)繪制方法研究.pdf

1、隨著多媒體技術(shù)的持續(xù)發(fā)展和人們對視覺體驗(yàn)追求的不斷提高，傳統(tǒng)的2D顯示已無法滿足大眾需求。自由視點(diǎn)視頻可以讓用戶通過交互的方式從任意的視角選擇、操作具有立體感的多媒體視頻，體驗(yàn)身臨其境的觀賞效果。近年來，計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)、數(shù)據(jù)采集技術(shù)及立體顯示技術(shù)的快速發(fā)展，進(jìn)一步推動了自由視點(diǎn)視頻的研究和應(yīng)用，使其成為多媒體領(lǐng)域的極具發(fā)展前途的方向。虛擬視點(diǎn)繪制技術(shù)利用現(xiàn)有的參考視點(diǎn)圖像繪制出新視點(diǎn)下的圖像，作為自由視點(diǎn)視頻的核心與關(guān)鍵，其繪

2、制質(zhì)量和效率之間的矛盾性，已成為目前制約自由視點(diǎn)視頻應(yīng)用普及的瓶頸。
　　根據(jù)繪制過程中是否建立三維幾何模型，虛擬視點(diǎn)繪制技術(shù)可以分為基于模型和基于圖像的繪制兩大類?；谀Ｐ偷睦L制方法需要建立場景的三維幾何模型，因此，其繪制復(fù)雜度會隨著場景復(fù)雜度的提高而增加；同時，這種高度密集型計(jì)算對顯示設(shè)備的性能也提出了更高的要求?；趫D像的繪制方法在繪制過程中不需要建立場景的三維幾何模型，因此，虛擬視點(diǎn)圖像的繪制速度與場景復(fù)雜度無關(guān)，通過插值

3、或者采樣點(diǎn)重新映射，直接繪制得到虛擬視點(diǎn)圖像?；谏疃葓D像的虛擬視點(diǎn)繪制（Depth Image Based Rendering，DIBR）作為基于圖像繪制方法的一種，是當(dāng)前虛擬視點(diǎn)繪制技術(shù)中的研究熱點(diǎn)。其繪制過程僅需紋理圖像及其對應(yīng)的深度信息和參考視點(diǎn)攝相機(jī)的內(nèi)外參數(shù)，即可在終端進(jìn)行快速坐標(biāo)映射還原出任意虛擬視點(diǎn)的圖像，從而有效減少了需要傳輸?shù)囊朁c(diǎn)數(shù)量，降低了網(wǎng)絡(luò)傳輸壓力。但是，由于受深度數(shù)據(jù)的影響，DIBR技術(shù)在繪制過程中會遇到空洞

4、、偽影、重疊、裂縫和繪制效率等問題。其中，空洞問題導(dǎo)致虛擬視點(diǎn)圖像出現(xiàn)大范圍的信息缺失；偽影問題導(dǎo)致在圖像背景區(qū)域出現(xiàn)前景輪廓的現(xiàn)象；重疊問題導(dǎo)致在圖像中某些區(qū)域出現(xiàn)背景可見而前景不可見的情形；裂縫問題導(dǎo)致圖像出現(xiàn)局部信息缺失的現(xiàn)象；繪制效率低下導(dǎo)致圖像不能實(shí)時繪制等。
　　本文對以上基本問題進(jìn)行研究，提出有效解決裂縫、偽影和繪制效率的方法，并通過實(shí)驗(yàn)與現(xiàn)有方法進(jìn)行了對比，實(shí)現(xiàn)了虛擬視點(diǎn)繪制原型系統(tǒng)。針對裂縫問題，本文提出自適應(yīng)中

5、值濾波算法，當(dāng)坐標(biāo)處于裂縫區(qū)域時，算法會自動選取窗口的中值作為當(dāng)前的像素值，從而既可以保持非裂縫區(qū)域原有的圖像細(xì)節(jié)，避免傳統(tǒng)的中值濾波所帶來的輪廓平滑，又能夠有效提升裂縫區(qū)域?yàn)V波效果，改善圖像的主觀質(zhì)量。針對偽影問題，由于深度圖像的量化誤差、映射過程重采樣誤差和攝像機(jī)參數(shù)不準(zhǔn)確等原因，導(dǎo)致前景中包含背景像素的現(xiàn)象，本文提出基于深度圖像的幀內(nèi)分層映射算法，將前景和背景分別映射，并用前景圖像覆蓋背景圖像，解決了前景背景相互混雜的問題。文中實(shí)

6、驗(yàn)使用了微軟亞洲研究院交互可視化多媒體組提供的“Breakdancers”和“Ballet”視頻圖像序列，將本文提出的虛擬視點(diǎn)繪制方法與傳統(tǒng)的單視點(diǎn)繪制、逆向映射方法繪制、傳統(tǒng)的雙視點(diǎn)繪制以及經(jīng)典的RSVS軟件和Kwan-Jung Oh方法繪制的虛擬視點(diǎn)圖像進(jìn)行對比。實(shí)驗(yàn)結(jié)果表明，本文提出的方法不論在主觀質(zhì)量評價(jià)還是客觀質(zhì)量評價(jià)方面，均取得了較好的結(jié)果。為提高繪制效率，本文引入基于GPU的并行繪制算法，對3D映射和虛擬視點(diǎn)圖像融合部分進(jìn)