故事視頻的語義分析與提取.pdf

1、科技的發(fā)展使得數(shù)字視頻潮水般涌入人們的日常生活。視頻內(nèi)容的豐富性和多樣性、以及特征數(shù)據(jù)特有的時空高維結(jié)構(gòu)，使得如何有效地對海量視頻進(jìn)行表達(dá)、存儲和管理，以便人們快速地瀏覽和檢索，成為一個亟待解決的重大課題。傳統(tǒng)的數(shù)據(jù)管理與檢索技術(shù)已遠(yuǎn)不能適應(yīng)這種急速的變化和需求，因此基于內(nèi)容的視頻檢索(CBVR)應(yīng)運而生，相關(guān)的研究迅速在各國展開。 目前，CBVR在多個方面取得了長足的進(jìn)步，視頻中語義信息的提取成為研究的熱點，少數(shù)基于語義檢索的

2、原型系統(tǒng)也已出現(xiàn)。然而，由于語義對象的提取、語義的分析和理解等仍存在較大問題，大規(guī)模的應(yīng)用還沒實現(xiàn)。本文針對語義提取這個熱點和難點從感知和認(rèn)知的視角，結(jié)合電影理論和社會學(xué)等跨領(lǐng)域內(nèi)容進(jìn)行了較系統(tǒng)和循序漸進(jìn)的研究，提出了一些新的框架和算法，主要內(nèi)容如下： 在視覺內(nèi)容的表達(dá)方面，針對顏色、紋理等靜態(tài)特征只能表示圖像的內(nèi)部特性，不能刻畫序列圖像的時間關(guān)系的問題，提出了一個壓縮域全局運動特征的估計方法，并描述了視頻內(nèi)容在時域上的變化以及

3、上下文關(guān)系。首先通過簡化一個六參數(shù)運動模型估計出全局運動參數(shù)；隨后提出基于滑動窗的視頻運動分割算法，完成視頻的全局運動分割和關(guān)鍵詞注釋，并運用特征點序列對運動信息進(jìn)行了描述；最后，為了驗證所提取運動特征的有效性，提出一個基于全局運動的視頻檢索框架。試驗結(jié)果表明，該算法能準(zhǔn)確地對視頻進(jìn)行全局運動分割，視頻的全局運動檢索也能獲得較高的準(zhǔn)確率，還實現(xiàn)了基于Xquery的關(guān)鍵詞查詢。 鏡頭邊界檢測(SBD)是CBVR的基礎(chǔ)，處于視頻結(jié)構(gòu)

4、分析的底層，它的性能將直接影響其它視頻分析的結(jié)果。為此提出了一個基于多層次特征描述和SVM的SBD算法。影響SBD性能的因素較多，本文將其總結(jié)為視覺內(nèi)容的表達(dá)不夠理想、序列圖像的上下文聯(lián)系不夠緊密和分類器性能有待提高三方面，并提出了相應(yīng)的解決辦法：針對第一點，提出應(yīng)該兼顧特征的敏感性和不變性，因此采用了從像素到全局的多層次特征描述方法；對第二點，運用一個變長滑動窗來建立特征矢量間的上下文聯(lián)系；針對第三點，采用SVM分類器，通過主動學(xué)習(xí)和

5、交叉驗證分別來選擇正負(fù)樣本的比例和訓(xùn)練參數(shù)。此外，還提出邊緣、運動等獨立的檢測子來對SVM分類結(jié)果中的誤檢加以修正。從TRECVID2007的測評來看，我們的算法在15個參賽組中取得了較為滿意的結(jié)果。 在語義對象的提取方面，提出了一個基于視覺注意模型的語義對象的選擇性提取算法?；趯ο蟮恼Z義提取是視頻分析中的一個難點，對象的有效提取能夠明顯提高語義概念檢測的準(zhǔn)確性。對象的提取面臨顏色的量化、圖像的分割、語義對象的確定等諸多困難。

6、針對這些問題，本文首先提出一個顏色的矢量量化算法完成彩色圖像的量化；其次綜合考慮圖像的顏色和空間分布特性，提出一種基于圖模型和區(qū)域組合的方法來分割圖像；隨后建立一個視覺注意模型來確定圖像的視覺注意中心和轉(zhuǎn)移順序；接著在Gestalt準(zhǔn)則下融合顏色、紋理以及邊界特征來描述圖像的同質(zhì)特性；最后根據(jù)注意中心的轉(zhuǎn)移順序來提取圖像的多個視覺顯著對象。實驗表明，在Corel圖像庫和TREC等視頻上提取的顯著對象獲得了較高的主觀評價。 在視頻

7、摘要方面，提出了一個基于電影結(jié)構(gòu)模型和感知線索的分層視頻摘要產(chǎn)生框架，以及一套完整的模型算法?，F(xiàn)有的視頻摘要算法主要針對新聞、體育等非故事性結(jié)構(gòu)而且時長較短的視頻類型，不適用于全長度的電影。為此，首先提出一個故事結(jié)構(gòu)模型—NP模型，將電影分解成幕、情節(jié)和場景三個層次，同時給出了場景的分割與分類算法；隨后，構(gòu)造一個基于情感刺激量的場景“重要性”函數(shù)來計算每個場景、情節(jié)、幕的重要性，以此來分配提取的關(guān)鍵幀和縮略的數(shù)目和長度；此外建立一個注意

8、力模型來將重要的電影元素量化并融合成一條注意力曲線；最后將電影結(jié)構(gòu)模型、情感模型和注意力模型有機地融合起來，提出了一個多層次的視頻摘要框架，分別產(chǎn)生靜態(tài)關(guān)鍵幀和動態(tài)視頻縮略。七部好萊塢影片驗證了框架的有效性和通用性，實驗結(jié)果在信息量和愉悅度上都優(yōu)于代表性的Ma提出的算法。 在視頻語義的提取方面，提出了一個基于社會網(wǎng)絡(luò)分析(SNA)和電影本體(Ontology)的影片內(nèi)容理解框架和一套語義提取算法。目前語義的研究主要集中在新聞、體

9、育、醫(yī)學(xué)等場景較為簡單的視頻類型，電影的自動理解則缺乏系統(tǒng)的研究。電影遠(yuǎn)比新聞等復(fù)雜，傳統(tǒng)的語義分析方法難以縮小影片的語義鴻溝。本文從一個全新的視角提出通過SNA和建立電影本體來分析影片的故事內(nèi)容。將電影看成一個特殊的社會網(wǎng)絡(luò)，利用SNA來確定角色的社區(qū)結(jié)構(gòu)和角色間的關(guān)系，并結(jié)合電影結(jié)構(gòu)模型分析出故事的發(fā)展線索；其次，構(gòu)造了一個電影本體，根據(jù)本體建立起角色的身份、職業(yè)以及政府各機構(gòu)之間的聯(lián)系；第三，提出一個分層的基于時間線索的高層動作事