基于內(nèi)容的視頻場景摘要技術(shù)的研究.pdf

1、數(shù)字視頻屬于國家重點(diǎn)發(fā)展的信息產(chǎn)業(yè)領(lǐng)域,隨著寬帶網(wǎng)絡(luò)和數(shù)字電視的迅速發(fā)展,視頻點(diǎn)播、交互電視、視頻網(wǎng)站等應(yīng)用需求將越來越廣泛,這些應(yīng)用都將共同面臨大量涌現(xiàn)的數(shù)字化視頻數(shù)據(jù)。但線性的、非結(jié)構(gòu)化的視頻數(shù)據(jù)形式往往使得視頻瀏覽效率非常低下。視頻摘要技術(shù)就是在這種情況下誕生的,該技術(shù)的結(jié)果是對原始視頻主要內(nèi)容的概括,對基于視頻的各種應(yīng)用具有廣泛的意義。
　　 本文在綜合分析已有的基于內(nèi)容的視頻摘要方法的基礎(chǔ)上,提出基于改進(jìn)的蟻群算法與凝

2、聚相結(jié)合的關(guān)鍵幀提取方法、基于語義的視頻場景檢測方法以及基于時空特征融合的視覺注意模型的場景摘要生成方法,并設(shè)計(jì)實(shí)現(xiàn)相應(yīng)的原型系統(tǒng)。具體內(nèi)容如下:
　　 (1)提出改進(jìn)的蟻群算法與凝聚相結(jié)合的關(guān)鍵幀提取方法。該方法先通過改進(jìn)的蟻群算法自組織地形成一個初始聚類,再對初始聚類結(jié)果執(zhí)行凝聚算法,優(yōu)化初始聚類結(jié)果并加快算法收斂,最終提取代表整個鏡頭內(nèi)容的關(guān)鍵幀。從而有效地解決傳統(tǒng)聚類法提取關(guān)鍵幀時對初值敏感、容易出現(xiàn)早熟和需利用先驗(yàn)知識

3、來確定聚類類別數(shù)等問題。
　　 (2)提出一種基于語義的視頻場景檢測方法。該方法首先提取視頻幀的多個底層特征,并對其進(jìn)行核函數(shù)級的線性加權(quán)處理,然后利用支持向量機(jī)(SVM)對處理后的特征向量進(jìn)行語義分類預(yù)測,生成鏡頭的語義概念矢量,最后根據(jù)語義概念矢量對鏡頭聚類得到場景。從而克服了傳統(tǒng)場景檢測中只采用視頻底層特征而不考慮視頻高層語義的問題,并較好地實(shí)現(xiàn)了場景檢測。
　　 (3)提出基于時空特征融合的視覺注意模型的場景摘要

4、生成方法。將時空特征融合的視覺注意模型引入到場景摘要生成過程中,提取鏡頭的空間域顯著度和時間域顯著度,將空間域顯著度和時間域顯著度進(jìn)行結(jié)合得到鏡頭的視覺注意度;同時,考慮鏡頭的持續(xù)時間,提出鏡頭的持續(xù)度,并將鏡頭的視覺注意度和時間持續(xù)度加權(quán)求和,得到鏡頭的重要度。根據(jù)鏡頭重要度的大小選出場景中重要的鏡頭,通過把重要鏡頭的關(guān)鍵幀按時序排列輸出,生成代表場景主要內(nèi)容的場景摘要。
　　 (4)采用面向?qū)ο笏枷朐O(shè)計(jì)并開發(fā)場景摘要生成的原