多視點(diǎn)視頻編碼中容錯(cuò)技術(shù)研究.pdf

1、近年來，由于在自由視點(diǎn)電視和三維電視等三維視頻中的廣泛應(yīng)用，多視點(diǎn)視頻編碼技術(shù)研究受到了更多的關(guān)注。多視點(diǎn)視頻是指同一時(shí)刻從不同角度的攝像機(jī)采集的同一場(chǎng)景的視頻序列，它是構(gòu)成三維視頻的基礎(chǔ)。多視點(diǎn)視頻通過提供某一事物或場(chǎng)景的不同角度信息，可以為用戶提供全方位的立體視覺。但是傳輸網(wǎng)絡(luò)的傳輸不可靠性往往會(huì)造成多視點(diǎn)視頻信息的損失，一方面，視頻壓縮數(shù)據(jù)傳輸丟失，可能會(huì)導(dǎo)致多視點(diǎn)視頻所表達(dá)的某一角度或某一層面的視頻信息丟失，無法展現(xiàn)多視點(diǎn)視頻所

2、提供的全方位多元化視覺信息。另一方面，由于多視點(diǎn)視頻編碼中不止有時(shí)間域預(yù)測(cè)，還有視間域預(yù)測(cè)，由預(yù)測(cè)編碼帶來的錯(cuò)誤累積現(xiàn)象會(huì)比傳統(tǒng)的單視點(diǎn)視頻編碼更加嚴(yán)重。因此魯棒的多視點(diǎn)視頻傳輸成為多視點(diǎn)視頻編碼的技術(shù)性挑戰(zhàn)。
　　本文圍繞多視點(diǎn)視頻編碼容錯(cuò)技術(shù)展開研究，目的是為多視點(diǎn)視頻編碼建立一套完整的從編碼端到解碼端的容錯(cuò)編解碼框架體系。因此，本文對(duì)基于塊丟失的多視點(diǎn)錯(cuò)誤隱藏，多視點(diǎn)整幀錯(cuò)誤隱藏以及多視點(diǎn)容錯(cuò)率失真優(yōu)化技術(shù)等方面進(jìn)行了深入的

3、研究。本文的具體研究?jī)?nèi)容如下：
　　1.針對(duì)多視點(diǎn)視頻局部區(qū)域傳輸丟失，提出了一項(xiàng)基于重疊塊運(yùn)動(dòng)視差補(bǔ)償（OBMDC）的多視點(diǎn)錯(cuò)誤隱藏技術(shù)。與傳統(tǒng)基于單視點(diǎn)的錯(cuò)誤隱藏技術(shù)不同，該技術(shù)將多視點(diǎn)視頻中特有的視間域相關(guān)性引入到多視點(diǎn)視頻錯(cuò)誤隱藏中。首先，本文既利用了丟失宏塊鄰域區(qū)域的運(yùn)動(dòng)矢量，也利用了丟失宏塊鄰域區(qū)域的視差矢量恢復(fù)丟失或受損的運(yùn)動(dòng)或視差矢量。然后通過本文提出的OBMDC技術(shù)重構(gòu)丟失宏塊，其中OBMDC技術(shù)中的權(quán)重取決于邊

4、界匹配準(zhǔn)則和視點(diǎn)。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)時(shí)間域錯(cuò)誤隱藏技術(shù),本文所提出的基于OBMDC的多視點(diǎn)錯(cuò)誤隱藏技術(shù)的錯(cuò)誤隱藏性能有較大提高。
　　2.針對(duì)視頻局部區(qū)域傳輸丟失，提出了基于時(shí)間域自回歸（AR）模型的單視點(diǎn)錯(cuò)誤隱藏技術(shù)和基于時(shí)間-視間域自回歸模型的多視點(diǎn)錯(cuò)誤隱藏技術(shù)。本文提出的時(shí)間域AR模型包括應(yīng)用于P條帶的前向AR模型和應(yīng)用于B條帶的雙向AR模型。首先，利用邊界匹配算法（BMA）為丟失塊選擇最合適的運(yùn)動(dòng)矢量。然后，利用鄰域

5、宏塊像素和其由最優(yōu)運(yùn)動(dòng)矢量指向的時(shí)間域相關(guān)像素，訓(xùn)練時(shí)間域 AR模型系數(shù)。最后，應(yīng)用時(shí)間域AR模型，丟失塊內(nèi)每個(gè)像素都被重構(gòu)為以最優(yōu)運(yùn)動(dòng)矢量所指向的時(shí)間域參考幀中相關(guān)像素的加權(quán)和。本文提出的時(shí)間-視間域AR模型包括應(yīng)用于獨(dú)立編碼視點(diǎn)的時(shí)間域AR模型和應(yīng)用于視間編碼視點(diǎn)的時(shí)間-視間域AR模型。首先推導(dǎo)出最合適的運(yùn)動(dòng)矢量和視差矢量。然后，利用鄰域宏塊像素和其由最優(yōu)預(yù)測(cè)矢量指向的時(shí)間域相關(guān)像素和視間域相關(guān)像素，訓(xùn)練時(shí)間-視間域AR模型系數(shù)。最

6、后，應(yīng)用時(shí)間-視間域AR模型，丟失塊內(nèi)每個(gè)像素都被重構(gòu)為以最優(yōu)預(yù)測(cè)矢量所指向的參考幀中相關(guān)像素的加權(quán)和。實(shí)驗(yàn)結(jié)果表明，該技術(shù)能顯著提高視頻解碼的錯(cuò)誤隱藏性能。
　　3.針對(duì)整幀視頻區(qū)域傳輸丟失，提出了一種多視點(diǎn)整幀錯(cuò)誤隱藏技術(shù)。相對(duì)于傳統(tǒng)錯(cuò)誤隱藏技術(shù)單一的運(yùn)動(dòng)矢量信息推導(dǎo)，本文提出了時(shí)間域運(yùn)動(dòng)信息推導(dǎo)，視間域視差信息推導(dǎo)，視間域運(yùn)動(dòng)信息推導(dǎo)和時(shí)間域視差信息推導(dǎo)四類信息推導(dǎo)。本文詳細(xì)分析了四類信息推導(dǎo)方式的特點(diǎn)和適用范圍，并在四類信

7、息推導(dǎo)的基礎(chǔ)上，形成了一個(gè)基于信息推導(dǎo)的多視點(diǎn)整幀錯(cuò)誤隱藏方案。對(duì)于丟失幀的每一個(gè)塊，都可以利用其時(shí)間域參考幀或視間域參考幀進(jìn)行重構(gòu)。實(shí)驗(yàn)結(jié)果表明，該技術(shù)能提高多視點(diǎn)視頻的整幀錯(cuò)誤隱藏性能。
　　4.針對(duì)多視點(diǎn)視頻編碼傳輸中的錯(cuò)誤累積現(xiàn)象，提出了一種多視點(diǎn)容錯(cuò)率失真優(yōu)化技術(shù)。該技術(shù)能抑制多視點(diǎn)視頻編碼傳輸中的錯(cuò)誤累積現(xiàn)象，提高多視點(diǎn)視頻的傳輸質(zhì)量。首先，本文提出了視間更新技術(shù)，即按一定準(zhǔn)則增加或減少視間預(yù)測(cè)比例，可以有效的抑制錯(cuò)誤