基于三維重建技術(shù)的多視角視頻編碼的研究.pdf

1、和傳統(tǒng)的單視角視頻相比，多視角視頻能以更全面的角度向人們呈現(xiàn)被攝的景象。多視角視頻中的雙目立體視頻最近已成為業(yè)界的研究熱點(diǎn)并應(yīng)用于多種現(xiàn)實場景，而真正的多路多視角視頻可在交互式電視系統(tǒng)等領(lǐng)域獲得應(yīng)用。由于多視角視頻需要處理的原始數(shù)據(jù)量成倍增加，如何對這些數(shù)據(jù)進(jìn)行高效壓縮編碼，是多視角視頻技術(shù)中的核心問題。 在廣泛而深入的研究以H.264為代表的現(xiàn)有視頻壓縮標(biāo)準(zhǔn)以及各項關(guān)鍵技術(shù)的基礎(chǔ)上，本文提出了一種新型的基于計算機(jī)立體視覺中三維

2、重建技術(shù)的多視角視頻編碼算法――3MVC。3MVC編碼主要針對一種會聚型的多視角視頻系統(tǒng)，適用于交互式實時多視角電視系統(tǒng)（IRM-TV）一類的應(yīng)用場合。IRM-TV系統(tǒng)可以為觀眾帶來前所未有的交互功能和多視角視覺感官體驗。 3MVC編碼的核心思想是：利用原始圖像序列之間確定的三維幾何位置關(guān)系以及三維重建原理，計算得到空間元素在待編碼的視頻通道圖像上的成像點(diǎn)，由此實現(xiàn)在幀間預(yù)測編碼過程中減少搜索次數(shù)和降低殘差數(shù)值。3MVC在傳統(tǒng)單

3、通道視頻的混合編碼框架基礎(chǔ)上，增加了對應(yīng)匹配、三維預(yù)測、基于視差估計/補(bǔ)償（DE/DC）的幀間預(yù)測編碼等關(guān)鍵技術(shù)。 在3MVC所針對的多視角視頻系統(tǒng)中，有必要在編碼圖像中預(yù)先獲取前景目標(biāo)的信息，以減少后面進(jìn)行對應(yīng)匹配時的計算量和提高三維重建的精度，本文提出了一種計算復(fù)雜度較低的基于圖像處理中的邊緣檢測以及紋理塊劃分的前景提取算法。 計算機(jī)立體視覺領(lǐng)域中的三維重建技術(shù)本質(zhì)是利用幾何關(guān)系與圖像對應(yīng)來計算空間物體坐標(biāo)，基于三維

4、重建原理，3MVC為幀間預(yù)測編碼提供了有益于提高DE準(zhǔn)確性的預(yù)測信息，其中涉及的核心算法和步驟包括基于分級塊匹配（HBM）的對應(yīng)尋找、借鑒了H.264中的MVP概念的視差向量預(yù)測（DVP）以及三維預(yù)測。通過對應(yīng)匹配和三維預(yù)測得到在編碼幀中前景目標(biāo)上的大量預(yù)測點(diǎn)，利用這些預(yù)測點(diǎn)可以明顯的優(yōu)化幀間預(yù)測過程中的宏塊模式?jīng)Q策過程，同時通過計算對應(yīng)點(diǎn)之間的視差向量（DV），為幀間塊匹配過程更精確可靠的確定了的起始搜索位置，有效的縮小了搜索范圍且增