多視目標(biāo)重構(gòu)的關(guān)鍵技術(shù)研究.pdf

1、多視目標(biāo)重構(gòu)是計(jì)算機(jī)視覺的研究熱點(diǎn)與難點(diǎn)，在3D 視頻、虛擬現(xiàn)實(shí)、數(shù)字城市、文物保護(hù)等領(lǐng)域具有廣泛的應(yīng)用前景。按照重構(gòu)所需要的特征，多視目標(biāo)重構(gòu)算法主要分為可見外殼構(gòu)造和多目立體重構(gòu)。前者可以快速獲得目標(biāo)的粗糙3D 形狀，但不能恢復(fù)目標(biāo)表面凹陷區(qū)域的形狀，當(dāng)前存在的問題是構(gòu)造算法需要預(yù)知目標(biāo)包圍盒的大??；后者可以得到目標(biāo)的精確3D 形狀，解決了可見外殼不能恢復(fù)凹陷區(qū)域形狀的問題，但重構(gòu)結(jié)果的完整度仍有待于進(jìn)一步提高。當(dāng)前多視目標(biāo)重構(gòu)方法

2、都是針對3D 形狀的獲取，很少考慮目標(biāo)表面顏色的恢復(fù)問題。MPEG4開創(chuàng)了基于對象的壓縮編碼技術(shù)，用輪廓、紋理等表示視頻內(nèi)容。
　　 雖然MPEG4 也支持用3D 模型表示編碼對象，但局限于特定目標(biāo)的視頻，需要事先為目標(biāo)建立復(fù)雜的3D 模型。實(shí)際上某些特定場景的視頻對象可以用多視目標(biāo)重構(gòu)方法獲得的3D 模型進(jìn)行表示和壓縮編碼。
　　 針對上述問題，本文主要探討多視目標(biāo)重構(gòu)中的兩個關(guān)鍵技術(shù)，即3D 形狀重構(gòu)和表面顏色恢復(fù)；

3、在此基礎(chǔ)上探索多視目標(biāo)重構(gòu)技術(shù)在視頻編碼中的應(yīng)用，設(shè)計(jì)了基于3D 參數(shù)的視頻對象編解碼方案。文章的主要工作和創(chuàng)新如下：
　　 1）為探索新的低碼率視頻編碼方法，提出基于3D 參數(shù)的視頻對象編碼方案。利用多視目標(biāo)重構(gòu)得到的3D 形狀、攝像機(jī)參數(shù)、頂點(diǎn)顏色或紋理圖像表示目標(biāo)，經(jīng)過壓縮后進(jìn)行傳輸。解碼端從壓縮碼流中恢復(fù)3D 模型、攝像機(jī)參數(shù)、頂點(diǎn)顏色或紋理圖像后，根據(jù)攝像機(jī)參數(shù)將經(jīng)過頂點(diǎn)著色或紋理映射的3D 模型重新投影到原始拍攝視點(diǎn)

4、下從而恢復(fù)原始視頻對象。實(shí)驗(yàn)結(jié)果表明，在相同的低碼率下，這種編碼方法的PSNR 比H.264 提高了2dB；同時可以實(shí)現(xiàn)比H.264 更低的碼率。
　　 2）提出融合通用處理器和圖形處理器的參數(shù)解碼器的硬件架構(gòu)設(shè)計(jì)，用于3D 參數(shù)視頻編碼器輸出碼流的解碼。通用處理器負(fù)責(zé)參數(shù)的解碼，圖形處理器將解壓后的3D 模型重新投影到原始拍攝視點(diǎn)下以還原原始視頻對象。由于采用了通用處理器，因此可支持任意的參數(shù)編碼方案。FPGA驗(yàn)證結(jié)果表明，設(shè)

5、計(jì)的電路可以實(shí)現(xiàn)參數(shù)的正確解碼和顯示。
　　 3）針對3D 形狀重構(gòu)，提出無需包圍盒的可見外殼構(gòu)造算法和基于圖切割的多目立體重構(gòu)算法。前者可以在不知道目標(biāo)包圍盒大小的情況下快速獲得目標(biāo)的粗糙3D 形狀；后者將可見外殼構(gòu)造和多目立體匹配相結(jié)合，通過圖切割算法得到目標(biāo)的精確3D 形狀。美國Middlebury 學(xué)院的3D重構(gòu)公共評測網(wǎng)站的評價結(jié)果表明，在準(zhǔn)確性比較閾值和完整性比較閾值分別為90％和2.0mm的情況下，本文算法的完整度