多視點視頻編碼中容錯技術(shù)研究.pdf

1、近年來，由于在自由視點電視和三維電視等三維視頻中的廣泛應(yīng)用，多視點視頻編碼技術(shù)研究受到了更多的關(guān)注。多視點視頻是指同一時刻從不同角度的攝像機采集的同一場景的視頻序列，它是構(gòu)成三維視頻的基礎(chǔ)。多視點視頻通過提供某一事物或場景的不同角度信息，可以為用戶提供全方位的立體視覺。但是傳輸網(wǎng)絡(luò)的傳輸不可靠性往往會造成多視點視頻信息的損失，一方面，視頻壓縮數(shù)據(jù)傳輸丟失，可能會導(dǎo)致多視點視頻所表達的某一角度或某一層面的視頻信息丟失，無法展現(xiàn)多視點視頻所

2、提供的全方位多元化視覺信息。另一方面，由于多視點視頻編碼中不止有時間域預(yù)測，還有視間域預(yù)測，由預(yù)測編碼帶來的錯誤累積現(xiàn)象會比傳統(tǒng)的單視點視頻編碼更加嚴(yán)重。因此魯棒的多視點視頻傳輸成為多視點視頻編碼的技術(shù)性挑戰(zhàn)。
　　本文圍繞多視點視頻編碼容錯技術(shù)展開研究，目的是為多視點視頻編碼建立一套完整的從編碼端到解碼端的容錯編解碼框架體系。因此，本文對基于塊丟失的多視點錯誤隱藏，多視點整幀錯誤隱藏以及多視點容錯率失真優(yōu)化技術(shù)等方面進行了深入的

3、研究。本文的具體研究內(nèi)容如下：
　　1.針對多視點視頻局部區(qū)域傳輸丟失，提出了一項基于重疊塊運動視差補償（OBMDC）的多視點錯誤隱藏技術(shù)。與傳統(tǒng)基于單視點的錯誤隱藏技術(shù)不同，該技術(shù)將多視點視頻中特有的視間域相關(guān)性引入到多視點視頻錯誤隱藏中。首先，本文既利用了丟失宏塊鄰域區(qū)域的運動矢量，也利用了丟失宏塊鄰域區(qū)域的視差矢量恢復(fù)丟失或受損的運動或視差矢量。然后通過本文提出的OBMDC技術(shù)重構(gòu)丟失宏塊，其中OBMDC技術(shù)中的權(quán)重取決于邊

4、界匹配準(zhǔn)則和視點。實驗結(jié)果表明，相比于傳統(tǒng)時間域錯誤隱藏技術(shù),本文所提出的基于OBMDC的多視點錯誤隱藏技術(shù)的錯誤隱藏性能有較大提高。
　　2.針對視頻局部區(qū)域傳輸丟失，提出了基于時間域自回歸（AR）模型的單視點錯誤隱藏技術(shù)和基于時間-視間域自回歸模型的多視點錯誤隱藏技術(shù)。本文提出的時間域AR模型包括應(yīng)用于P條帶的前向AR模型和應(yīng)用于B條帶的雙向AR模型。首先，利用邊界匹配算法（BMA）為丟失塊選擇最合適的運動矢量。然后，利用鄰域

5、宏塊像素和其由最優(yōu)運動矢量指向的時間域相關(guān)像素，訓(xùn)練時間域 AR模型系數(shù)。最后，應(yīng)用時間域AR模型，丟失塊內(nèi)每個像素都被重構(gòu)為以最優(yōu)運動矢量所指向的時間域參考幀中相關(guān)像素的加權(quán)和。本文提出的時間-視間域AR模型包括應(yīng)用于獨立編碼視點的時間域AR模型和應(yīng)用于視間編碼視點的時間-視間域AR模型。首先推導(dǎo)出最合適的運動矢量和視差矢量。然后，利用鄰域宏塊像素和其由最優(yōu)預(yù)測矢量指向的時間域相關(guān)像素和視間域相關(guān)像素，訓(xùn)練時間-視間域AR模型系數(shù)。最

6、后，應(yīng)用時間-視間域AR模型，丟失塊內(nèi)每個像素都被重構(gòu)為以最優(yōu)預(yù)測矢量所指向的參考幀中相關(guān)像素的加權(quán)和。實驗結(jié)果表明，該技術(shù)能顯著提高視頻解碼的錯誤隱藏性能。
　　3.針對整幀視頻區(qū)域傳輸丟失，提出了一種多視點整幀錯誤隱藏技術(shù)。相對于傳統(tǒng)錯誤隱藏技術(shù)單一的運動矢量信息推導(dǎo)，本文提出了時間域運動信息推導(dǎo)，視間域視差信息推導(dǎo)，視間域運動信息推導(dǎo)和時間域視差信息推導(dǎo)四類信息推導(dǎo)。本文詳細分析了四類信息推導(dǎo)方式的特點和適用范圍，并在四類信

7、息推導(dǎo)的基礎(chǔ)上，形成了一個基于信息推導(dǎo)的多視點整幀錯誤隱藏方案。對于丟失幀的每一個塊，都可以利用其時間域參考幀或視間域參考幀進行重構(gòu)。實驗結(jié)果表明，該技術(shù)能提高多視點視頻的整幀錯誤隱藏性能。
　　4.針對多視點視頻編碼傳輸中的錯誤累積現(xiàn)象，提出了一種多視點容錯率失真優(yōu)化技術(shù)。該技術(shù)能抑制多視點視頻編碼傳輸中的錯誤累積現(xiàn)象，提高多視點視頻的傳輸質(zhì)量。首先，本文提出了視間更新技術(shù)，即按一定準(zhǔn)則增加或減少視間預(yù)測比例，可以有效的抑制錯誤