三維視頻壓縮、傳輸、渲染相關(guān)技術(shù)的研究.pdf

1、作為計算機(jī)視覺、圖形學(xué)以及多媒體技術(shù)的一種融合，三維視頻技術(shù)正在快速發(fā)展并被廣泛應(yīng)用。不同于傳統(tǒng)的計算機(jī)圖形學(xué)技術(shù)，三維視頻提供給人們的三維視覺體驗是基于采集到真實世界的視頻信號，并通過視角合成和渲染等技術(shù)達(dá)到的。近幾年，隨著傳感器技術(shù)等相關(guān)領(lǐng)域的發(fā)展，三維視頻處理技術(shù)得到了快速的發(fā)展，越來越多的視頻渲染方法被設(shè)計出來以提高三維視覺體驗。本論文針對基于圖像渲染框架的三維視頻、深度信息的處理、壓縮和渲染等問題做出了相關(guān)研究。
　　由

2、于深度信息被廣泛應(yīng)用于三維視頻渲染中，越來越多深度傳感器被設(shè)計出來以更低的成本和更高的精度來采集深度信息。Kinect作為一種低成本深度傳感器便被廣泛應(yīng)用于三維視頻渲染中。因此，本論文首先提出了一種Kinect深度信息的修復(fù)算法，修復(fù)Kinect深度圖像中缺失的信息，抑制圖像中的失真和噪聲，提高Kinect深度圖像的質(zhì)量，進(jìn)而提高相應(yīng)后續(xù)處理的性能。
　　在許多應(yīng)用場景中，深度信息和紋理信息需要傳輸?shù)竭h(yuǎn)端進(jìn)行處理，如何提高深度信息

3、的壓縮性能，直接影響著整個系統(tǒng)的性能。本論文針對Kinect深度信息特殊的數(shù)據(jù)性質(zhì)，設(shè)計了一個Kinect深度視頻壓縮算法來有效的進(jìn)行數(shù)據(jù)壓縮。我們首先設(shè)計了自適應(yīng)的雙邊濾波器來去除Kinect深度圖像中的噪聲，修復(fù)因為噪聲而被破壞的數(shù)據(jù)相關(guān)性。在傳統(tǒng)的視頻編碼之前，我們引入2D+T預(yù)測模塊來去除數(shù)據(jù)在時間域上的冗余。我們利用生成的三維物體表面參考圖像來區(qū)分動態(tài)區(qū)域和靜態(tài)區(qū)域。其中動態(tài)區(qū)域利用傳統(tǒng)編碼器進(jìn)行壓縮，而靜態(tài)區(qū)域則跳過壓縮，在

4、解碼端利用三維參考平面恢復(fù)重建。
　　考慮到高動態(tài)深度信息正在替代傳統(tǒng)的8比特深度信息，被廣泛的應(yīng)用于許多三維視頻處理中，在本論文中，我們針對高動態(tài)范圍的深度圖像和視頻設(shè)計了一種基于分層的編碼壓縮算法。在該算法中，高動態(tài)范圍的深度圖像在位深度平面上被分為高數(shù)據(jù)位層和低數(shù)據(jù)位層。其中，高數(shù)據(jù)位層深度圖像代表了深度信息的大致變化規(guī)律，具有突出的邊緣，因此，我們設(shè)計了像素域的編碼方法來壓縮本層信息。低數(shù)據(jù)位層深度圖像包含深度信息的細(xì)微變

5、化，我們利用傳統(tǒng)的基于變換的壓縮算法來進(jìn)行壓縮。低層數(shù)據(jù)的動態(tài)范圍保證在8比特內(nèi)，現(xiàn)有的圖像和視頻編碼器均可被集成進(jìn)來。
　　作為三維視頻的一種流行方式，任意視角視頻被廣泛的使用。人們希望在移動終端上觀看三維視頻。但是，由于實時傳輸和渲染多路紋理視頻和深度視頻對于帶寬和計算資源的要求是無線信道和移動設(shè)備所無法承受的。因此，為了實現(xiàn)在移動端觀看三維視頻，我們提出了基于云計算框架的移動端任意視角視頻渲染框架。在該框架中，我們根據(jù)用戶的