基于深度圖像的多視點(diǎn)立體圖像中的虛擬視點(diǎn)生成算法研究.pdf

1、在顯示設(shè)備的發(fā)展過(guò)程中，人們一直希望能夠從顯示設(shè)備中重現(xiàn)出客觀世界中事物的真實(shí)感和立體感。近年來(lái)，廣播電視技術(shù)得到了飛快的發(fā)展，三維電視系統(tǒng)的出現(xiàn)，滿足了用戶從不同的角度觀看到不同的圖像，身臨其境的感受到客觀立體世界的愿望，已經(jīng)成為繼高清電視之后，電視發(fā)展的又一個(gè)主要方向。虛擬視點(diǎn)生成技術(shù)是三維電視系統(tǒng)中的一項(xiàng)關(guān)鍵技術(shù)，它是利用兩個(gè)相鄰視點(diǎn)的攝像機(jī)拍攝的圖像來(lái)生成相機(jī)中間的視點(diǎn)的虛擬視點(diǎn)的圖像，生成的虛擬視點(diǎn)的圖像可以讓用戶從更多的角度

2、來(lái)感受到真實(shí)客觀世界。
　　 如何實(shí)時(shí)高效傳輸是現(xiàn)在三維電視系統(tǒng)的一個(gè)熱點(diǎn)，如果對(duì)左右眼分別對(duì)應(yīng)的彩色圖像進(jìn)行傳輸，將會(huì)大大的增加系統(tǒng)成本和傳輸帶寬。所以，虛擬視點(diǎn)繪制技術(shù)減少了傳輸?shù)囊曨l的數(shù)據(jù)量，對(duì)于降低傳輸帶寬和系統(tǒng)成本非常重要。虛擬視點(diǎn)繪制技術(shù)主要有基于模型的繪制技術(shù)(Model-BasedRendering，MBR)和基于圖像的繪制技術(shù)(Image-BasedRendering，IBR)兩種。比較兩種繪制技術(shù)，MBR技術(shù)

3、雖然在細(xì)節(jié)信息方面有較好的效果，但是建模過(guò)程復(fù)雜，實(shí)用性較差?；趫D像的繪制技術(shù)(Image-BasedRendering，IBR)由于是一種利用參考視點(diǎn)的圖像來(lái)生成虛擬視點(diǎn)的圖像的技術(shù)，能夠較多的減少傳輸帶寬，同時(shí)也獲得了較好的圖像渲染質(zhì)量?；谏疃葓D像的虛擬視點(diǎn)生成技術(shù)(DepthImage-BasedRendering，DIBR)是一種常用的基于圖像的繪制技術(shù)，這種技術(shù)在傳輸過(guò)程中減少了彩色圖像的數(shù)量，增加了對(duì)深度圖像的傳輸，由于

4、彩色圖像所含信息量遠(yuǎn)遠(yuǎn)大于深度圖像，所以能夠減少較多的傳輸帶寬，它包括深度圖的預(yù)處理、圖像轉(zhuǎn)換、圖像融合和空洞填充四個(gè)步驟，深度圖的處理是對(duì)相鄰的攝像機(jī)拍攝的圖像的深度圖像進(jìn)行圖像平滑等處理，來(lái)減少合成的圖像中的空洞和裂縫的數(shù)量，圖像轉(zhuǎn)換是利用兩個(gè)攝像機(jī)的圖像來(lái)通過(guò)三維坐標(biāo)轉(zhuǎn)換的方法得到攝像機(jī)中間的虛擬視點(diǎn)的圖像，圖像融合技術(shù)是將由兩個(gè)攝像機(jī)得到的兩幅虛擬視點(diǎn)圖像融合成一幅圖像，空洞填充是將圖像融合后得到的圖像中的空洞點(diǎn)進(jìn)行填充，來(lái)生成

5、圖像質(zhì)量較高的虛擬視點(diǎn)的圖像?；诋?dāng)前的虛擬視點(diǎn)生成研究的現(xiàn)狀，本文提出了一種改進(jìn)的虛擬視點(diǎn)生成技術(shù)。本文取得的改進(jìn)方法主要有以下兩個(gè)方面:
　　 (1)對(duì)兩幅參考圖像的深度圖像進(jìn)行處理過(guò)程中，對(duì)深度與周?chē)袼叵嗖钶^大的點(diǎn)進(jìn)行平滑，這樣能夠有效的減少生成的虛擬視點(diǎn)中空洞的個(gè)數(shù)和大小，對(duì)深度與周?chē)袼氐狞c(diǎn)相差很大的像素點(diǎn)，我們?cè)趫D像轉(zhuǎn)換的過(guò)程中忽略這些點(diǎn)，在最后的空洞填充過(guò)程中再將這些點(diǎn)填補(bǔ)上，這樣可以有效的減少生成的虛擬視點(diǎn)中存

6、在的偽影。
　　 (2)在圖像融合以后，生成的虛擬視點(diǎn)圖像仍然會(huì)有一些小的空洞點(diǎn)，我們提出了一種填補(bǔ)空洞點(diǎn)的方法，由于這些空洞點(diǎn)大部分是背景信息被遮擋而無(wú)法顯示，所以我們?cè)谔钛a(bǔ)空洞點(diǎn)的時(shí)候用背景點(diǎn)來(lái)填補(bǔ)空洞點(diǎn)。首先我們判斷出空洞區(qū)域，用掃描的方法找到空洞區(qū)域的邊緣點(diǎn)，對(duì)邊緣點(diǎn)的周?chē)袼氐姆强斩袋c(diǎn)的深度進(jìn)行比較，找出背景點(diǎn)，用找出的背景點(diǎn)對(duì)空洞點(diǎn)進(jìn)行填充，最終把空洞點(diǎn)全部填充。這種空洞填充方法可以有效的消除合成后的圖像中的空洞點(diǎn)，