基于實時三維重建的遠(yuǎn)程呈現(xiàn)技術(shù).pdf

1、溝通是人類永恒的話題，而面對面交流是最直接有效的一種溝通方式。然而隨著經(jīng)濟(jì)全球化和勞動力移動化，面對面交流并不總是可行而且往往代價高昂，人們迫切需要一種新的多媒體通信技術(shù)，為不同地理位置的人們帶來虛擬面對面溝通的沉浸式體驗。因而，綜合應(yīng)用通信和虛擬現(xiàn)實技術(shù)的遠(yuǎn)程呈現(xiàn)（Tele-Presence）技術(shù)成為近年來研究的熱點。市場上已有的軟件會話軟件和商用遠(yuǎn)程呈現(xiàn)系統(tǒng)僅能提供普通的二維視頻會議體驗，其主要缺陷是屏幕顯示結(jié)果與用戶的觀察角度無關(guān)

2、。這些局限造成了沉浸感的缺失。在已有的遠(yuǎn)程呈現(xiàn)系統(tǒng)研究工作中，基于多RGB-D攝像機(jī)的實時重建技術(shù)兼具不錯的重建質(zhì)量和實時的幀率，展現(xiàn)出了優(yōu)秀的潛力。
　　本文在已有的方法上進(jìn)行擴(kuò)展，研究和實現(xiàn)了一個基于多RGB-D攝像機(jī)實時三維重建的一對一遠(yuǎn)程呈現(xiàn)系統(tǒng)，為用戶提供視角相關(guān)的顯示效果。首先，提出了一個靈活的遠(yuǎn)程呈現(xiàn)框架，將系統(tǒng)分為幾個獨立的技術(shù)模塊：實時三維重建模塊、追蹤模塊、顯示模塊、編解碼模塊和網(wǎng)絡(luò)模塊，實現(xiàn)了遠(yuǎn)程呈現(xiàn)的功能雛

3、形。其次，重點研究和實現(xiàn)了一個基于多RGB-D攝像機(jī)的實時三維重建算法，在保持足夠高的實時幀率情況下通過彩色圖的顏色校正、基于二次中值濾波的深度圖填充與平滑等多種方法提高重建質(zhì)量。再次，針對用戶交互延時問題，提出了一種基于三維圖像變換的渲染算法，并將其在CUDA上實現(xiàn)。該算法在本地根據(jù)已有的彩色和深度圖像快速得到新視點下的觀察結(jié)果，從而降低因網(wǎng)絡(luò)來回、圖像編解碼和傳統(tǒng)渲染過程等帶來的交互延時。最后，通過一系列實驗說明系統(tǒng)的整體效果和性能