視頻鏡頭分割及其在視頻檢索中的應(yīng)用.pdf

1、隨著多媒體技術(shù)和Web技術(shù)的發(fā)展，越來(lái)越多的信息以視頻形式存儲(chǔ)、傳輸和表現(xiàn)。如何快速、方便地檢索到自己需要或感興趣的視頻成為近年來(lái)研究的熱點(diǎn)?；趦?nèi)容的視頻分析與檢索系統(tǒng)是實(shí)現(xiàn)這個(gè)目標(biāo)的有效途徑。 視頻內(nèi)容結(jié)構(gòu)化技術(shù)按照自頂向下的結(jié)構(gòu)將視頻分為視頻、場(chǎng)景、鏡頭和幀四個(gè)層次。在這四個(gè)視頻結(jié)構(gòu)層次中，鏡頭被認(rèn)為是最適合用來(lái)實(shí)現(xiàn)基于視頻內(nèi)容對(duì)視頻進(jìn)行檢索的一個(gè)層次。因此基于內(nèi)容的視頻分析與檢索系統(tǒng)一般分為三個(gè)過(guò)程。首先是視頻分割，尋找

2、視頻鏡頭轉(zhuǎn)換的邊界：其次是提取關(guān)鍵幀，用于簡(jiǎn)潔的表達(dá)鏡頭；最后是視頻鏡頭信息的標(biāo)注，即利用動(dòng)態(tài)和靜態(tài)特征來(lái)對(duì)鏡頭進(jìn)行分類和標(biāo)注，從而對(duì)整段視頻建立目錄索引，以便用戶檢索。 本文主要研究?jī)?nèi)容分為兩個(gè)方面，一是鏡頭邊界檢測(cè)，將視頻分為鏡頭，二是基于內(nèi)容對(duì)鏡頭進(jìn)行分類。 對(duì)于鏡頭邊界檢測(cè)，本文基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)思想，提出一種利用多種視頻特征的鏡頭邊界檢測(cè)算法。突變檢測(cè)中，在特征矢量形成上，分別采用了相鄰兩幀差值法和滑動(dòng)窗口

3、法，并加入運(yùn)動(dòng)信息以排除強(qiáng)運(yùn)動(dòng)對(duì)突變檢測(cè)的影響；在神經(jīng)網(wǎng)絡(luò)的構(gòu)架上，則分別采用了融合法和選舉法。在漸變檢測(cè)中，先通過(guò)三個(gè)神經(jīng)網(wǎng)絡(luò)將溶解過(guò)程中方差曲線的三種模式分別識(shí)別出來(lái)，再根據(jù)溶解過(guò)程中亮度均值呈線性遞增或遞減的特性將干擾排除。對(duì)大量TRECVID視頻進(jìn)行實(shí)驗(yàn)的結(jié)果表明，該算法對(duì)視頻突變和漸變都具有良好的檢測(cè)性能，并對(duì)運(yùn)動(dòng)以及閃光燈的干擾具有較好的魯棒性。 從語(yǔ)義角度，鏡頭可以分為類型、事件和對(duì)象三個(gè)級(jí)別，相應(yīng)的鏡頭分類的問(wèn)題