自由視點(diǎn)視頻深度圖估計(jì)的關(guān)鍵技術(shù)研究.pdf

1、人們?cè)谟^看立體圖像時(shí)能夠體會(huì)到畫(huà)面的深度感，在觀看多視點(diǎn)視頻時(shí)可以根據(jù)自己的喜好選擇不同的視角，這些都是普通二維視頻難以達(dá)到的效果，受到越來(lái)越多觀眾的歡迎。因此，立體和多視點(diǎn)視頻是當(dāng)今視頻技術(shù)和應(yīng)用的主流發(fā)展方向之一，具有非常廣闊的市場(chǎng)前景。其中有多項(xiàng)需要解決的關(guān)鍵技術(shù)，如多視點(diǎn)紋理和深度信息的獲取，多視點(diǎn)視頻的編解碼和傳輸，以及多視點(diǎn)視頻的渲染等，尤其是有關(guān)深度信息的準(zhǔn)確獲得已成為當(dāng)前熱門(mén)研究領(lǐng)域之一。本文研究的關(guān)注點(diǎn)是在多視點(diǎn)視頻系

2、統(tǒng)中如何給立體內(nèi)容加入視點(diǎn)交互，獲得相應(yīng)場(chǎng)景的深度信息，以及如何由深度信息進(jìn)行多視點(diǎn)渲染，使觀眾可以自由選擇觀看的視點(diǎn)位置。
　　本文從構(gòu)建自由視點(diǎn)視頻系統(tǒng)的角度出發(fā)，在三個(gè)方面開(kāi)展了相關(guān)關(guān)鍵技術(shù)的研究工作，即從單視點(diǎn)運(yùn)動(dòng)視頻中獲得可靠深度圖，從多視點(diǎn)視頻中獲得可靠深度（視差）圖以及利用基于深度圖的渲染（Depth Image Based Rendering，DIBR）技術(shù)進(jìn)行虛擬視點(diǎn)圖像合成。主要工作和創(chuàng)新點(diǎn)如下：
　　1

3、．從單視點(diǎn)運(yùn)動(dòng)視頻中估計(jì)出深度圖是非常困難的，本文聯(lián)合利用SFM（Structure from Motion）和光流計(jì)算將視頻中的圖像幀轉(zhuǎn)變?yōu)榧y理＋深度圖的格式，并且每一幀都有關(guān)聯(lián)的攝像機(jī)姿態(tài)。算法首先利用SFM獲得場(chǎng)景的稀疏表示、圖像幀之間特征點(diǎn)的匹配關(guān)系，以及每個(gè)關(guān)鍵幀的攝像機(jī)姿態(tài)。在給定參考幀后，根據(jù)質(zhì)量測(cè)量選定另一個(gè)參與運(yùn)動(dòng)流計(jì)算的圖像幀，通過(guò)測(cè)量圖像之間的運(yùn)動(dòng)流實(shí)現(xiàn)場(chǎng)景稀疏表示的結(jié)構(gòu)稠密化，獲得最優(yōu)質(zhì)量的深度圖。算法不進(jìn)行任何

4、深度圖內(nèi)插計(jì)算。
　　2．為了在低計(jì)算復(fù)雜度下獲得可靠的深度圖，本文將全局優(yōu)化的方法應(yīng)用到區(qū)域立體匹配的框架內(nèi)，提出不同的兩種從立體圖像對(duì)中提取深度信息的算法：一種是基于全局差錯(cuò)能量最小化的方法，另一種是基于線性區(qū)域生長(zhǎng)的方法。全局差錯(cuò)能量最小化是在視差搜索范圍內(nèi)使用塊匹配技術(shù)為每一個(gè)視差構(gòu)建一個(gè)差錯(cuò)能量矩陣。線性生長(zhǎng)法是判斷某個(gè)點(diǎn)與根點(diǎn)之間關(guān)聯(lián)度的差錯(cuò)能量是否小于預(yù)先設(shè)定的閾值。算法對(duì)每一個(gè)差錯(cuò)矩陣反復(fù)進(jìn)行均值濾波，尋找最小差錯(cuò)

5、能量，進(jìn)而獲得視差圖和深度圖。算法利用平滑函數(shù)進(jìn)行全局最優(yōu)化，通過(guò)檢測(cè)視差圖中的高誤差能量，剔除由于遮擋區(qū)域造成的不可靠預(yù)測(cè)視差點(diǎn)，以提高視差圖的可靠性。在匹配過(guò)程中，應(yīng)用遞歸二維均值濾波技術(shù)快速計(jì)算方法對(duì)區(qū)域匹配算法進(jìn)行優(yōu)化，從而提高算法效率。
　　3．針對(duì)低紋理區(qū)域和遮擋會(huì)引起雙目立體歧義的問(wèn)題，提出一種基于DAISY特征和改進(jìn)型權(quán)重核的快速立體匹配視差生成的算法。該算法首先稠密構(gòu)造局部特征的DAISY描述，計(jì)算初始匹配成本；

6、基于Epanechnikov權(quán)重核雙通聚合消除特征相似歧義得到可靠匹配代價(jià)；按照“勝者全拿”的優(yōu)化準(zhǔn)則獲得初始視差。然后，利用改進(jìn)型雙邊濾波、對(duì)稱一致性驗(yàn)證和多方向權(quán)重視差外插等策略改善視差估計(jì)精度。實(shí)驗(yàn)結(jié)果表明，該方法能有效提高匹配精度，得到分段光滑、精度高的稠密視差，且結(jié)構(gòu)簡(jiǎn)單、復(fù)雜度低。
　　4．針對(duì)現(xiàn)有DIBR虛擬視點(diǎn)圖像渲染算法存在的問(wèn)題，提出一種基于深度信息進(jìn)行后處理的DIBR虛擬視點(diǎn)渲染算法。該算法利用攝像機(jī)參數(shù)和深