基于大規(guī)模網(wǎng)絡(luò)視頻的事件挖掘研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和計(jì)算機(jī)的普及，普通用戶越來越容易從谷歌、百度、YouTube和優(yōu)酷等視頻分享網(wǎng)站上獲得大量正在發(fā)生的事件的網(wǎng)絡(luò)視頻。另外，CCTV、BBC和CNN等大量新聞媒體也越來越多的將大量網(wǎng)絡(luò)視頻放到他們的網(wǎng)站。這對(duì)普通用戶能否快速從搜索引擎返回的海量網(wǎng)絡(luò)視頻中，掌握主要事件是一個(gè)挑戰(zhàn)。網(wǎng)絡(luò)視頻事件挖掘是一個(gè)非常有意義的研究課題。主要事件挖掘可以方便普通用戶快速了解整個(gè)話題，并建立事件間的關(guān)系，從而了解整個(gè)話題的來龍去脈

2、。如果對(duì)某一個(gè)事件比較感興趣的話，還可以進(jìn)一步了解。
　　當(dāng)普通用戶檢索某話題時(shí)，如果他們了解該話題的主要事件，可以方便他們了解事件間的關(guān)系。然而，普通用戶只有觀看搜索引擎返回的海量視頻后，通過自己總結(jié)才能了解主要事件。這需要耗費(fèi)大量時(shí)間，而且難以完成，普通用戶也沒有足夠耐心，尤其是對(duì)于完全陌生的話題。因此，通過主要事件挖掘改善用戶搜索體驗(yàn)是一個(gè)緊迫的任務(wù)。本文分別研究了網(wǎng)絡(luò)視頻的文本與視覺的突發(fā)性特征，并通過它們間的關(guān)系進(jìn)行了相

3、關(guān)融合方案的探索，主要內(nèi)容包括以下三個(gè)方面:
　　首先，研究了基于共同發(fā)生與多重對(duì)應(yīng)分析的網(wǎng)絡(luò)視頻事件挖掘。針對(duì)網(wǎng)絡(luò)視頻中文本信息具有信息量少、噪聲多以及信息不完整等特性。同時(shí)，結(jié)合視覺信息的特點(diǎn)，即重要的鏡頭經(jīng)常被插入到相關(guān)視頻中用來提醒或支持其觀點(diǎn)，具有舉足輕重的作用。此外，視覺信息不僅包含有豐富的信息，而且相對(duì)不容易被修改，因此視覺特征相對(duì)于文本描述更加精確，故其具有更明顯的優(yōu)勢(shì)。新提出的網(wǎng)絡(luò)視頻事件挖掘方法，通過文本與視覺

4、信息的融合進(jìn)行網(wǎng)絡(luò)視頻的事件挖掘。通過共同發(fā)生挖掘視覺近似關(guān)鍵幀之間的視覺相關(guān)性，并將統(tǒng)計(jì)領(lǐng)域中的多重對(duì)應(yīng)分析應(yīng)用到多媒體檢索領(lǐng)域，探索網(wǎng)絡(luò)視頻中出現(xiàn)的標(biāo)題/標(biāo)簽等文本信息在視覺近似關(guān)鍵幀中的分布特性，從而利用文本信息的分布特性計(jì)算視覺近似關(guān)鍵幀與事件問的相關(guān)度。大量實(shí)驗(yàn)結(jié)果表明，基于視覺內(nèi)容相關(guān)性與多重對(duì)應(yīng)分析的網(wǎng)絡(luò)視頻事件挖掘，在相同條件下事件挖掘效果更佳。
　　其次，研究了基于視覺特征軌跡與文本分布特征的網(wǎng)絡(luò)視頻事件挖掘。視

5、覺近似關(guān)鍵幀的共同發(fā)生只能挖掘視覺內(nèi)容相關(guān)的視頻，而同一事件往往具有多種視覺表達(dá)形式，從而容易丟失與事件主題相關(guān)，視覺內(nèi)容不同的視頻。因此，利用視覺特征軌跡的時(shí)間分布特性，通過共同發(fā)生增加視覺特征軌跡的魯棒性，以減少視頻編輯的影響，提出了基于視覺內(nèi)容的特征軌跡。與此同時(shí)，針對(duì)文本信息噪聲較多，易造成文本分布特征不穩(wěn)定的問題，提出了利用視覺近似關(guān)鍵幀間的視覺內(nèi)容的相關(guān)性來挖掘文本信息的語義相關(guān)性，從而增強(qiáng)文本信息的魯棒性。并根據(jù)文本與視覺

6、信息間的相關(guān)性，提出了一種概率模型從理論上探索文本與視覺信息融合的問題，從而更好的實(shí)現(xiàn)兩者優(yōu)勢(shì)的互補(bǔ)。通過海量數(shù)據(jù)集上的大量實(shí)驗(yàn)，證明基于內(nèi)容的視覺特征軌跡與文本分布特征的網(wǎng)絡(luò)視頻事件挖掘方案，能夠有效的改善基于視覺近似關(guān)鍵幀的內(nèi)容單一問題，并能在一定程度上提高文本信息的魯棒性，而文本與視覺信息的融合方案進(jìn)一步彌補(bǔ)了文本與視覺信息各自的缺陷，達(dá)到了優(yōu)勢(shì)互補(bǔ)的目的。
　　最后，研究了基于動(dòng)態(tài)關(guān)聯(lián)規(guī)則與視覺近似片段的網(wǎng)絡(luò)視頻事件挖掘。

7、通過深入分析研究視覺近似關(guān)鍵幀的特性及其存在的問題，為了減少視頻編輯對(duì)視覺近似關(guān)鍵幀檢測(cè)的影響，提出了視覺近似片段這一全新的概念。主要利用視頻中時(shí)間與空間信息以減少圖片中文字等信息的影響，并探索了視覺近似片段間的關(guān)聯(lián)規(guī)則，以及文本信息在視覺近似片段中的分布特性。同時(shí)，為了進(jìn)一步增強(qiáng)嘈雜的文本在視覺近似片段中的分布特性，提出用動(dòng)態(tài)關(guān)聯(lián)規(guī)則算法將語義相關(guān)的單詞聚集在一起，從而用語義相關(guān)的單詞集來代替原來的單個(gè)單詞，以達(dá)到增強(qiáng)文本信息魯棒性的