基于內(nèi)容的視頻運(yùn)動(dòng)對(duì)象分割技術(shù)研究.pdf

1、隨著現(xiàn)代信息社會(huì)的不斷發(fā)展，人們獲得的多媒體信息日益增加。因此，對(duì)各種多媒信息的處理技術(shù)就變成了相關(guān)領(lǐng)域內(nèi)學(xué)者的重要研究任務(wù)。在這些多媒體中，視覺信息因其形象、生動(dòng)和直觀的特點(diǎn)而更為人們所關(guān)注，但同時(shí)視覺信息巨大的數(shù)據(jù)量給傳輸、存儲(chǔ)、處理帶來(lái)了挑戰(zhàn)。因此對(duì)視覺信息尤其是視頻信息的各種處理技術(shù)研究就從來(lái)沒有停止過(guò)。 為了更有效地存儲(chǔ)、傳輸和使用視頻數(shù)據(jù)，必須進(jìn)行視頻壓縮。MPEG組織提出了第二代視頻壓縮標(biāo)準(zhǔn)MPEG-4。相比與第一

2、壓縮標(biāo)準(zhǔn)，MPEG-4最顯著的特點(diǎn)之一就是提出了基于對(duì)象的編碼方式。要實(shí)現(xiàn)基于對(duì)象的視頻編碼，首行要進(jìn)行視頻對(duì)象分割。視頻對(duì)象分割是指在時(shí)空域上將視頻分割為一些視頻語(yǔ)義對(duì)象的組合，也就是將每一個(gè)視頻幀分割為一些不同語(yǔ)義對(duì)象區(qū)域。同時(shí)為視頻數(shù)據(jù)檢索服務(wù)的MPEG-7標(biāo)準(zhǔn)則提出了對(duì)各種媒體對(duì)象進(jìn)行統(tǒng)一和規(guī)范化的描述。而一些計(jì)算機(jī)視覺等也需要基于對(duì)象的各種功能。因此，基于對(duì)象的視頻信息描述方式已成為多媒體信息處理技術(shù)中的一種巨大需求。

3、 然而，由于視視對(duì)象分割是相當(dāng)困難的問(wèn)題，MPEG-4盡管引入了視頻對(duì)象的概念，但它并沒有指定從視頻序列獲取視頻對(duì)象的具體方法。視頻對(duì)象分割的困難性主要體現(xiàn)在兩方面：(1)現(xiàn)實(shí)世界中視頻場(chǎng)景極度復(fù)雜和多樣，很難用一種方法進(jìn)行統(tǒng)一的分割；(2)視頻對(duì)象的定義是一種基于高級(jí)語(yǔ)義的描述，很難用低層次的視覺描述方式如邊緣、顏色、運(yùn)動(dòng)等特征來(lái)描述，而目前的圖象分析技術(shù)又遠(yuǎn)遠(yuǎn)不足以將高層次語(yǔ)義對(duì)象用機(jī)器語(yǔ)言來(lái)準(zhǔn)確的定義和描述。 盡管困難重重

4、，但由于廣泛的應(yīng)用前景，近幾年對(duì)視頻對(duì)象分割技術(shù)的研究就從來(lái)沒有停止過(guò)。本論文研究了視頻對(duì)象分割中的一些技術(shù)難點(diǎn)和重點(diǎn)，包括如何提高自動(dòng)視頻運(yùn)動(dòng)對(duì)象分割的準(zhǔn)確性，如何對(duì)視頻分割中的難點(diǎn)問(wèn)題如遮擋等進(jìn)行處理，以及如何在多種復(fù)雜運(yùn)動(dòng)情況下進(jìn)行對(duì)象分割。研究目標(biāo)既有單視頻對(duì)象，又有多視頻對(duì)象，重點(diǎn)對(duì)多視頻對(duì)象分割進(jìn)行了研究。具體地，本論文的主要工作和創(chuàng)新點(diǎn)包括： 針對(duì)視頻對(duì)象分割準(zhǔn)確性不高的問(wèn)題，提出了一種基于區(qū)域多重選擇的視頻運(yùn)動(dòng)對(duì)

5、象分割提取方法：首先利用一種有效的方法在空間域(幀內(nèi))進(jìn)行區(qū)域劃分，得到基于區(qū)域表示的空間圖；然后利用改進(jìn)的幀差法計(jì)算序列時(shí)間域(幀間)信息，對(duì)所有區(qū)域進(jìn)行分類選擇，區(qū)域內(nèi)運(yùn)動(dòng)屬性非常明顯的確定為對(duì)象區(qū)域，非常不明顯的為背景區(qū)域，而介于兩者中間的區(qū)域?yàn)楹蜻x區(qū)域；為了對(duì)候選區(qū)域進(jìn)行分類選擇，建立時(shí)空區(qū)域能量模型，進(jìn)一步選擇；最后利用馬爾可夫模型和標(biāo)記的方法對(duì)所得到的對(duì)象區(qū)域進(jìn)行后處理，得到完整的對(duì)象掩模，通過(guò)映射，即可獲得運(yùn)動(dòng)的視頻對(duì)象。

6、 針對(duì)視頻對(duì)象分割中存在的背景與對(duì)象之間的遮擋問(wèn)題，提出了一種利用背景重建技術(shù)進(jìn)行視頻對(duì)象提取的方法。首先提出一種新的噪聲參數(shù)估計(jì)方法，運(yùn)用變化檢測(cè)技術(shù)得到表示視頻對(duì)象運(yùn)動(dòng)區(qū)域的二進(jìn)制變化檢測(cè)掩模(CDM)，針對(duì)CDM紋理性差的特點(diǎn)，以鄰域最大值法來(lái)修補(bǔ)邊緣并填補(bǔ)空洞，經(jīng)數(shù)學(xué)形態(tài)學(xué)濾波后得到完整的二進(jìn)制掩模；然后利用二進(jìn)制掩模映射獲得本幀背景圖象，通過(guò)多幀背景圖象相互補(bǔ)充可得到較為完整的重構(gòu)背景圖象；最后用當(dāng)前隕和重構(gòu)的背景圖象

7、相減的辦法消除背景遮擋的影響，得到初始的視頻對(duì)象，經(jīng)數(shù)學(xué)形態(tài)學(xué)邊緣修正后，獲得準(zhǔn)確的視頻對(duì)象。 針對(duì)多視頻對(duì)象的分割問(wèn)題，提出了一種基于貝葉斯框架的時(shí)空標(biāo)記場(chǎng)最大后驗(yàn)概率的多視頻對(duì)象分割算法，根據(jù)視頻序列幀間(時(shí)間域)和幀內(nèi)(空間域)信息的不同特點(diǎn)，建立基于多個(gè)對(duì)象分割標(biāo)記場(chǎng)的最大后驗(yàn)概率公式，并導(dǎo)出其最小能量函數(shù)，通過(guò)求解最小能量使其分割標(biāo)記的后驗(yàn)概率達(dá)到最大，得到具有不同標(biāo)記的多個(gè)視頻對(duì)象。最小能量的求解過(guò)程用優(yōu)化方法—迭代

8、條件模式(ICM)方法，初始分割標(biāo)記場(chǎng)用矢量直方圖法得到。提出的算法是不僅對(duì)單獨(dú)運(yùn)動(dòng)的多對(duì)象分割是有效的，而還能處理對(duì)象間的部分遮擋問(wèn)題。 針對(duì)具有復(fù)雜運(yùn)動(dòng)的多視頻對(duì)象，提出了一種基于時(shí)空曲線演化的多視頻對(duì)象自動(dòng)分割方法，首先根據(jù)視頻序列幀間(時(shí)間域)和幀內(nèi)(空間域)信息的不同特點(diǎn)，建立基于全局和局部特征的能量模型，并由此導(dǎo)出基于levelsets方法的曲線演化方程；然后用視頻序列的連繼兩幀幀差得到初始的視頻對(duì)象，分別進(jìn)行時(shí)間和