面向移動(dòng)設(shè)備的動(dòng)態(tài)目標(biāo)的光場(chǎng)渲染技術(shù)研究.pdf

1、隨著多媒體技術(shù)的不斷發(fā)展，視頻技術(shù)也需要從二維向三維轉(zhuǎn)變，和普通的二維視頻相比，三維視頻增加了場(chǎng)景的深度信息，增強(qiáng)了視覺(jué)的現(xiàn)實(shí)感和逼真感，可以給用戶提供全方位沉浸式的感受。三維視頻技術(shù)可以廣泛應(yīng)用于數(shù)字電視、移動(dòng)設(shè)備系統(tǒng)，三維視頻會(huì)議系統(tǒng)、虛擬現(xiàn)實(shí)系統(tǒng)等方面，而其中移動(dòng)設(shè)備系統(tǒng)更為人們所關(guān)注，移動(dòng)設(shè)備已經(jīng)逐漸成為人們進(jìn)行信息獲取、處理處理、個(gè)人娛樂(lè)等的重要途徑。因此人們迫切的希望在移動(dòng)設(shè)備上享受真實(shí)感繪制，比如：顯示真實(shí)感的3DTV、虛

2、擬現(xiàn)實(shí)的漫游等等。 移動(dòng)設(shè)備由于采用電池供電，存儲(chǔ)器空間有限，帶寬較小，因此移動(dòng)設(shè)備的真實(shí)感繪制系統(tǒng)應(yīng)具有低功耗和低帶寬的特點(diǎn)。傳統(tǒng)的計(jì)算機(jī)圖形學(xué)是建立在基于3D網(wǎng)格模型的繪制基礎(chǔ)上，能否準(zhǔn)確的構(gòu)建成場(chǎng)景的3D網(wǎng)格模型將直接影響最終繪制的效果，整個(gè)繪制過(guò)程與場(chǎng)景復(fù)雜度有關(guān)，帶來(lái)了功耗大的問(wèn)題。而基于圖像的繪制技術(shù)(IBR)由于與場(chǎng)景復(fù)雜度無(wú)關(guān)且真實(shí)感強(qiáng)等特點(diǎn)，在近十年來(lái)成為真實(shí)感繪制的研究熱點(diǎn)，但由于其數(shù)據(jù)量龐大，對(duì)于移動(dòng)設(shè)備有

3、限的存儲(chǔ)空間和帶寬非常不利。針對(duì)這些問(wèn)題，本文提出了一種面向移動(dòng)設(shè)備的動(dòng)態(tài)3D目標(biāo)的真實(shí)感繪制技術(shù)。 主要工作和創(chuàng)新如下： 1)針對(duì)移動(dòng)設(shè)備存儲(chǔ)空間小和帶寬有限的特點(diǎn)，提出了一種面向移動(dòng)設(shè)備的動(dòng)態(tài)3D目標(biāo)的光場(chǎng)渲染編解碼器設(shè)計(jì)。由于3D網(wǎng)格模型來(lái)源于圖像，降低了人工建模的復(fù)雜度。同時(shí)，由于具有場(chǎng)景目標(biāo)的幾何信息，場(chǎng)景目標(biāo)重構(gòu)所需的圖像數(shù)量可以大量減少，降低了數(shù)據(jù)量，有利于低帶寬的移動(dòng)設(shè)備的數(shù)據(jù)傳輸，實(shí)驗(yàn)結(jié)果表明，數(shù)據(jù)量相

4、比基于圖像的繪制方法，存儲(chǔ)數(shù)據(jù)量以及傳輸數(shù)據(jù)量都得到了有效的降低。 2)結(jié)合重建的目標(biāo)的3D網(wǎng)格模型，提出了一種面向移動(dòng)設(shè)備的目標(biāo)表面光場(chǎng)采樣方法，詳細(xì)分析了光場(chǎng)采樣前的可見(jiàn)性問(wèn)題以及虛擬視點(diǎn)的生成方法。該方法不但可以實(shí)現(xiàn)真實(shí)感效果，而且可以實(shí)現(xiàn)自由視點(diǎn)的繪制。實(shí)驗(yàn)結(jié)果表明，這種采樣方法準(zhǔn)確記錄了目標(biāo)向空間發(fā)出的光線信息，包括了光線的強(qiáng)度和光線的方向。 3)由于采樣的光場(chǎng)矩陣包含的數(shù)據(jù)量較大，不利于視頻數(shù)據(jù)的傳輸，提出了

5、一種自適應(yīng)的奇異值分解算法，自動(dòng)控制光場(chǎng)矩陣的分解級(jí)數(shù)，解決了人為主觀因素的控制，保證重建質(zhì)量的同時(shí)，提高了壓縮率。光場(chǎng)矩陣分解后獲得目標(biāo)的表面紋理和視點(diǎn)紋理，采用矢量量化和S3TC壓縮算法去除紋理圖像之間及內(nèi)部的冗余信息，實(shí)驗(yàn)結(jié)果表明，在保證真實(shí)感效果的前提下，數(shù)據(jù)量得到了有效的降低。此外，S3TC算法為圖形硬件廣泛支持的標(biāo)準(zhǔn)紋理壓縮算法，有利于實(shí)現(xiàn)光場(chǎng)重建的硬件加速過(guò)程。 4)提出了一種面向移動(dòng)設(shè)備的光場(chǎng)渲染解碼器的硬件架構(gòu)