基于ROI和JND的3D視頻編碼研究.pdf

1、3D視頻在帶給人身臨其境的視覺體驗的同時，也因其龐大的數(shù)據(jù)量而給視頻的存儲和傳輸帶來了巨大的壓力。因此，如何在保證視頻主觀質(zhì)量的前提下，盡可能占用更小的傳輸帶寬是3D視頻編碼領(lǐng)域亟待解決的重大挑戰(zhàn)。以往的編碼算法主要集中精力于去除視頻的空間冗余、時間冗余等，而我們將注意力轉(zhuǎn)向于去除視頻中的視覺冗余。為此，本文提出把人眼視覺特性與現(xiàn)有的H.264編碼框架相結(jié)合，著力于利用3D視頻中的感興趣區(qū)域和恰可察覺失真，在保證主觀質(zhì)量的前提下，盡可能

2、減少碼率，最終提高壓縮效率。
　　感興趣區(qū)域(Region Of Interest，ROI)編碼是指通過控制視頻背景區(qū)域與ROI區(qū)域的宏塊量化參數(shù)(Quantization Parameter，QP)的分配，在保證視頻主觀質(zhì)量的同時提高壓縮效率。對2D視頻而言，ROI檢測性能不穩(wěn)定，這限制了ROI編碼的推廣與使用。而3D視頻中包含的深度信息與人類視覺模型(HVS)中感興趣程度間有著十分密切的聯(lián)系，這為3D視頻ROI區(qū)域檢測提供了有

3、利條件。因此本文綜合深度信息，提出了兩種3D顯著性檢測算法。
　　恰可察覺失真(Just Noticeable Distortion，JND)是指由人類視覺系統(tǒng)的生理特性和心理特性所造成的，對圖像不同區(qū)域具有不同失真敏感度的現(xiàn)象。當(dāng)圖像特定區(qū)域的失真程度低于JND閾值時，人眼無法感知其存在。JND視頻編碼技術(shù)主要針對視頻的視覺冗余，在編碼時結(jié)合人眼視覺特性，合理分配編碼資源，進(jìn)一步提高編碼的效率。
　　本文主要利用3D視頻（

4、單視點視頻加深度圖格式）中的紋理和深度信息，對其進(jìn)行與H.264標(biāo)準(zhǔn)兼容的ROI和JND編碼的研究。本文首先研究了人眼立體視覺系統(tǒng)模型，分析了景物深度與HVS中感興趣程度間的關(guān)系。由此，提出了基于深度的立體投影顯著性檢測算法;進(jìn)一步發(fā)掘深度和場景中背景區(qū)域的關(guān)系，提出了基于背景檢測的3D顯著性檢測算法。針對人眼對不同深度的注意程度不同，以及不同視點間物體的相互遮蓋等關(guān)系，提出了一種利用深度圖計算JND閾值的模型。之后，探討了H.264壓