基于多模態(tài)特征融合的新聞視頻摘要技術(shù)研究.pdf

1、多媒體和網(wǎng)絡(luò)技術(shù)的發(fā)展使得視頻資源變得越來越豐富，伴隨而來的問題則是視頻數(shù)據(jù)量的快速增長。因此如何對這些海量視頻數(shù)據(jù)進(jìn)行有效的處理，從而提高瀏覽和檢索效率就成為了當(dāng)前亟需解決的現(xiàn)實(shí)問題。視頻摘要技術(shù)可以縮減視頻的數(shù)據(jù)量，節(jié)省瀏覽時(shí)間，是解決這些問題的關(guān)鍵。
　　 新聞視頻是人們獲取信息的主要來源之一，與一般的視頻數(shù)據(jù)相比，它有其特殊的結(jié)構(gòu)和組織特征，這都使得針對新聞視頻的摘要技術(shù)成為近年來廣泛研究的熱點(diǎn)。本論文針對這一課題進(jìn)行了

2、探索和研究，并做出了一些有特色的成果。
　　 (1)研究了新聞視頻中的鏡頭分割，提出了一種基于自適應(yīng)閾值的鏡頭邊界檢測算法。針對新聞視頻中多為切變鏡頭及經(jīng)常存在閃光燈的特點(diǎn)，首先通過兩次檢測及自適應(yīng)閾值調(diào)整初步確定鏡頭邊界，然后加入閃光燈判定條件并將檢測出的閃關(guān)燈事件濾除，最終確定鏡頭邊界。實(shí)驗(yàn)證明，本算法對閃光燈的適應(yīng)性大大增加，顯著提高了鏡頭檢測的準(zhǔn)確率。
　　 (2)研究了主持人鏡頭檢測，提出了一種基于音視頻特征融

3、合的主持人鏡頭提取方法。主持人模板是通過綜合考慮靜音片段的特征之后自動提取的。然后利用主持人鏡頭背景不變的特性，通過色矩計(jì)算和顏色模板匹配來進(jìn)行主持人鏡頭的檢測。該方法實(shí)現(xiàn)了主持人鏡頭的自動化聚焦，具有準(zhǔn)確度高和適應(yīng)性強(qiáng)等優(yōu)點(diǎn)。
　　 (3)研究了關(guān)鍵幀提取技術(shù)，提出了一種基于鏡頭與標(biāo)題字幕方法融合的關(guān)鍵幀提取方法。針對新聞節(jié)目的特點(diǎn)，選取兩種幀作為關(guān)鍵幀：一是包含新聞主題字幕的幀，二是取每個(gè)鏡頭最接近時(shí)間中點(diǎn)的幀作為關(guān)鍵幀。實(shí)

4、驗(yàn)結(jié)果表明，該方法提取的關(guān)鍵幀具有較好的代表性，能夠較好的描述新聞內(nèi)容。
　　 (4)研究了視頻摘要的生成及表現(xiàn)形式。綜合考慮新聞視頻中的多種模態(tài)信息，提出了基于多模態(tài)特征融合的新聞視頻摘要生成方法，視頻摘要表現(xiàn)形式包括新聞故事板形式的靜態(tài)摘要、基于比例壓縮的視頻縮略、基于主持人鏡頭的視頻縮略和基于新聞標(biāo)題條的視頻縮略。
　　 最后，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)多特征融合的新聞視頻摘要原型系統(tǒng)，系統(tǒng)集成了本文研究的主要成果，實(shí)驗(yàn)結(jié)果表