視頻分割與基于對(duì)象的編碼研究.pdf

1、該論文主要研究視頻運(yùn)動(dòng)分析、視頻分割和基于對(duì)象的編碼,得到了國(guó)家自然科學(xué)基金項(xiàng)目(60072013)和南京郵電學(xué)院"圖像處理與圖像通信"江蘇省重點(diǎn)實(shí)驗(yàn)室項(xiàng)目(K02091)的資助.主要內(nèi)容包括局部運(yùn)動(dòng)分析中的光流運(yùn)動(dòng)估計(jì)、適用于視頻對(duì)象分割的塊匹配運(yùn)動(dòng)估計(jì),全局運(yùn)動(dòng)分析中的攝像機(jī)全局運(yùn)動(dòng)參數(shù)估計(jì)與補(bǔ)償、攝像機(jī)的運(yùn)動(dòng)模式識(shí)別,視頻鏡頭分割,視頻對(duì)象的時(shí)空聯(lián)合分割以及基于視頻對(duì)象的可伸縮性小波編碼等.首先研究了運(yùn)動(dòng)分析,包括局部運(yùn)動(dòng)分析和全

2、局運(yùn)動(dòng)分析.前者是通過(guò)對(duì)視頻序列的計(jì)算估計(jì)出現(xiàn)頻中不同物體的運(yùn)動(dòng)情況,而后者則是通過(guò)對(duì)視頻序列的計(jì)算估計(jì)出攝像機(jī)的整體運(yùn)動(dòng).在局部運(yùn)動(dòng)分析中,主要研究了光流運(yùn)動(dòng)估計(jì)和塊匹配運(yùn)動(dòng)估計(jì).通過(guò)對(duì)光流基本約束項(xiàng)和平滑約束項(xiàng)加以改進(jìn),提出一種自適應(yīng)的光流估計(jì)算法,能夠較精確地進(jìn)行光流運(yùn)動(dòng)估計(jì),減輕Horn方法中全局平滑約束對(duì)運(yùn)動(dòng)邊界的影響,提高了運(yùn)動(dòng)估計(jì)的峰值信噪比.為減少計(jì)算量,在充分考慮視頻對(duì)象分割特點(diǎn)的基礎(chǔ)上,提出了一種分層塊匹配的運(yùn)動(dòng)估計(jì)

3、方法,有較快的估計(jì)速度和較高的峰值信噪比,分割效果良好,可以用于實(shí)時(shí)的視頻對(duì)象分割系統(tǒng)中.在全局運(yùn)動(dòng)分析中,對(duì)攝像機(jī)的全局運(yùn)動(dòng)做了定量和定性的分析.定量分析是指對(duì)攝像機(jī)全局運(yùn)動(dòng)參數(shù)的估計(jì)與補(bǔ)償,定性分析是指對(duì)攝像機(jī)各種全局運(yùn)動(dòng)模式的識(shí)別.論文研究了各種全局運(yùn)動(dòng)模型和參數(shù)估計(jì)方法并介紹了它們?cè)谝曨l對(duì)象分割、視頻鏡頭分割中的應(yīng)用.針對(duì)目前視頻內(nèi)容分析、視頻鏡頭分割算法中極少有考慮到視頻抖動(dòng)(攝像機(jī)抖動(dòng))的,提出了一種視頻抖動(dòng)的檢測(cè)算法,能比

4、較準(zhǔn)確地檢測(cè)出抖動(dòng)的視頻鏡頭.在考慮到視頻抖動(dòng)的情況下提出了一種視頻鏡頭的分割算法.在基于數(shù)學(xué)形態(tài)學(xué)的視頻對(duì)象時(shí)空聯(lián)合分割方法中,引入了一種新的分水嶺空間分割算法,通過(guò)對(duì)數(shù)據(jù)結(jié)構(gòu)的改進(jìn),使算法具有較快的執(zhí)行速度;通過(guò)對(duì)輸入梯度圖像的改進(jìn),使空間分割效果良好.論文使用不同的運(yùn)動(dòng)估計(jì)方法來(lái)完成時(shí)間分割,如光流運(yùn)動(dòng)估計(jì)和適用于視頻對(duì)象分割的塊匹配運(yùn)動(dòng)估計(jì)等,然后提出了幾種區(qū)域合并算法以得到具有語(yǔ)義的視頻對(duì)象,如利用仿射模型來(lái)描述每個(gè)分割小塊,

5、并利用其6個(gè)仿射參數(shù)所組成的向量范數(shù)來(lái)進(jìn)行基于運(yùn)動(dòng)的區(qū)域合并.基于數(shù)學(xué)形態(tài)學(xué)的視頻對(duì)象分割方法速度快,自動(dòng)化程度較高,分割效果也比較理想.在基于聚類分析的視頻對(duì)象時(shí)空聯(lián)合分割方法中,首先提出了一種基于改進(jìn)的多特征模糊聚類分割算法.它把灰度、運(yùn)動(dòng)、位置、幀差、紋理等多個(gè)特征分量組成一個(gè)多維的特征向量空間作為模糊聚類的輸入,并動(dòng)態(tài)地調(diào)整多個(gè)特征分量的權(quán)值.同時(shí)通過(guò)對(duì)距離量度和聚類損失函數(shù)的修改,大大提高了視頻對(duì)象分割結(jié)果的空間相關(guān)性.然后把

6、視頻序列中連續(xù)7幀圖像作為一組,對(duì)每組中間那一幀進(jìn)行初始分割,而對(duì)組內(nèi)其他幀則采用時(shí)域跟蹤方法進(jìn)行分割.初始分割采用改進(jìn)的多特征模糊聚類;時(shí)域跟蹤是利用上一幀的分割結(jié)果通過(guò)運(yùn)動(dòng)估計(jì)向下一幀投影,作為下一幀的初始分割來(lái)完成的.這種視頻對(duì)象分割算法的時(shí)間和空間相關(guān)性都比較強(qiáng).最后研究了基于對(duì)象的編碼,提出一種基于對(duì)象的可伸縮小波編碼器:首先對(duì)任意形狀的對(duì)象而不是整幀圖像做適形小波變換,這樣較大地提高了編碼效率;然后用適形預(yù)測(cè)零樹(shù)來(lái)同時(shí)編碼變