多視目標(biāo)重構(gòu)和繪制方法研究.pdf

1、在多視環(huán)境下進(jìn)行目標(biāo)的3D重構(gòu)和繪制是個(gè)挑戰(zhàn)性難題，具有重要的學(xué)術(shù)研究?jī)r(jià)值與廣闊的應(yīng)用前景。多視目標(biāo)重構(gòu)的難點(diǎn)是多視數(shù)據(jù)量大、計(jì)算復(fù)雜、重構(gòu)精度與完整度要求高；繪制則存在著真實(shí)感和顯示實(shí)時(shí)性的難題。針對(duì)上述問題，本文開展基于3D參數(shù)的視頻對(duì)象描述方法研究，利用多視目標(biāo)重構(gòu)得到目標(biāo)的3D信息，通過硬件繪制電路實(shí)現(xiàn)目標(biāo)的快速真實(shí)感顯示。
　　 論文的主要工作和創(chuàng)新如下：
　　 1)為解決多視海量數(shù)據(jù)的存儲(chǔ)和傳輸難題，提出基于

2、3D參數(shù)的視頻對(duì)象編解碼方案。利用多視目標(biāo)重構(gòu)得到的3D參數(shù)表示視頻內(nèi)容既可以實(shí)現(xiàn)低碼率編碼又能在解碼端全方位多角度顯示視頻對(duì)象。實(shí)驗(yàn)結(jié)果表明，在相同的低碼率下與H.264相比，本文方法的PSNR最高可改善2dB，同時(shí)可以實(shí)現(xiàn)比H.264更低的碼率。
　　 2)為了解決參數(shù)繪制的實(shí)時(shí)性問題，提出融合通用處理器和圖形處理器的參數(shù)解碼器的硬件架構(gòu)設(shè)計(jì)方案。通用處理器負(fù)責(zé)參數(shù)的解碼，圖形處理器利用繪制方法將解壓后的3D模型重新投影到原

3、始拍攝視點(diǎn)下以還原原始視頻對(duì)象。由于采用了通用處理器，因此可支持任意的參數(shù)編碼方案。FPGA驗(yàn)證結(jié)果表明，設(shè)計(jì)的電路可以實(shí)現(xiàn)參數(shù)的正確解碼和顯示。
　　 3)為解決多視目標(biāo)重構(gòu)精度和完整度問題，提出無需包圍盒的可見外殼構(gòu)造算法和基于圖切割的多目立體重構(gòu)算法。前者可以在不知道目標(biāo)包圍盒大小的情況下快速獲得目標(biāo)的粗糙3D形狀；后者將可見外殼構(gòu)造和多目立體匹配相結(jié)合，通過圖切割算法得到目標(biāo)的精確3D形狀。美國Middlebury學(xué)院的

4、3D重構(gòu)公共評(píng)測(cè)網(wǎng)站的評(píng)價(jià)結(jié)果表明，在準(zhǔn)確性比較閾值和完整度比較閾值分別為90％和2.0mm的情況下，本文算法的完整度最高可以達(dá)到99.5％。
　　 4)針對(duì)目標(biāo)的真實(shí)感繪制問題，利用馬爾科夫隨機(jī)場(chǎng)模型建立3D模型項(xiàng)點(diǎn)和視點(diǎn)間的最佳對(duì)應(yīng)關(guān)系，并考慮到相鄰頂點(diǎn)間的影響，從而可以在恢復(fù)真實(shí)感表面顏色的同時(shí)抑制不同視圖顏色差異帶來的接縫現(xiàn)象。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有主流方法相比，本文方法的接縫抑制效果更有效，同時(shí)構(gòu)造的紋理圖像的存儲(chǔ)空間可