多視點(diǎn)視頻中的視圖合成.pdf

1、3D電視是近年來興起的一種能夠增強(qiáng)視頻觀賞體驗(yàn)的新型媒體介質(zhì)。多視點(diǎn)視頻技術(shù)是3D電視的基礎(chǔ)，它能夠通過基于深度圖像繪制(DIBR)技術(shù)來合成一定范圍內(nèi)的任意視點(diǎn)的視圖，從而使3D電視系統(tǒng)具有交互性和立體感。
　　 本論文研究的目的，就是通過對(duì)多視點(diǎn)視頻中基于深度圖像繪制的視圖合成的原理、技術(shù)和方法進(jìn)行研究，為它在3D電視中的應(yīng)用提供理論和技術(shù)支撐。
　　 論文首先介紹了多視點(diǎn)視頻中視圖合成的理論基礎(chǔ)，也即是針孔攝像機(jī)模

2、型；然后在該模型的基礎(chǔ)上，研究了深度圖像獲取和基于DIBR視圖合成所涉及的關(guān)鍵技術(shù)。在深度圖像獲取方面，重點(diǎn)研究了立體圖像對(duì)的極線校正；在視圖合成方面，論文首先提出了一種空洞填充算法；然后研究了基于圖像重投影的視圖合成，以及任意視點(diǎn)的基于DIBR的視圖合成方法；最后研究了基于深度圖像的3D視頻去隔行。
　　 論文的主要研究成果包括：
　　 ①針對(duì)深度圖像獲取過程中的極線校正問題，研究了圖像重投影，并在此基礎(chǔ)上提出了一種立

3、體圖像對(duì)的極線校正方法。該方法結(jié)合了基于基本矩陣的極線校正方法和無需基本矩陣的極線校正方法，有效地避免了最優(yōu)化時(shí)陷入局部最優(yōu)的可能，同時(shí)又不會(huì)過分依賴基本矩陣的精度。實(shí)驗(yàn)表明該方法具有較高的校正精度，圖像的扭曲也比較小。
　　 ②提出了一種新的空洞填充算法。該算法總是先填充那些4鄰域像素集中不空的像素大于等于本輪域值的空洞點(diǎn)；并且每填完一遍空洞點(diǎn)之后都重新搜索4鄰域像素集中所有像素都不空的空洞點(diǎn)以開始下一輪填充。實(shí)驗(yàn)表明該算法能

4、較好地填充較小的空洞，特別是對(duì)紋理單一區(qū)域中的空洞能產(chǎn)生良好的填充效果。該算法適用于經(jīng)過平滑深度圖像處理后剩余空洞的填充，也便于硬件實(shí)現(xiàn)。
　　 ③針對(duì)攝像機(jī)繞光心旋轉(zhuǎn)的特殊情形，給出了單應(yīng)矩陣具有的性質(zhì)，并結(jié)合三維圖像變換技術(shù)提出了一種攝像機(jī)繞光心旋轉(zhuǎn)時(shí)新視圖的合成方法。由于充分利用了單應(yīng)矩陣的性質(zhì)，該方法不但能夠生成質(zhì)量較好的新視圖，而且繪制速度也得到了加快。
　　 ④提出了一種基于DIBR的視圖合成方法。該方法執(zhí)行

5、兩次三維圖像變換，第一次變換采用平滑后的深度圖像，得到含有較小空洞的目標(biāo)圖像；第二次變換采用原始的深度圖像，得到含有較大空洞的目標(biāo)圖像。然后以第二次變換得到的目標(biāo)圖像為基準(zhǔn)將兩幅目標(biāo)圖像融合，最后對(duì)得到的目標(biāo)圖像進(jìn)行空洞填充。該方法能在消除空洞的同時(shí)保證不會(huì)降低非空洞區(qū)域圖像的質(zhì)量，從而盡可能地保留視圖的真實(shí)性，適用于3DTV中的立體圖像對(duì)的合成。
　　 ⑤研究了基于深度圖像的3D視頻如何在現(xiàn)行的電視系統(tǒng)中傳輸?shù)膯栴}，提出了3D