基于多模態(tài)特征的新聞視頻語義分析.pdf

1、隨著計算機網絡和多媒體技術的飛速發(fā)展，數(shù)字視頻在人們的生活中成為不可或缺的信息載體。如何幫助人們從海量視頻數(shù)據(jù)中找到自己感興趣的內容?國家有關部門如何對危害社會穩(wěn)定、團結和影響青少年健康成長的不良視頻內容進行有效監(jiān)管?基于語義的多媒體信息檢索，視頻語義內容安全分析是處理上述問題亟需攻克的技術難題。視頻數(shù)據(jù)包含著豐富的語義內容，作為視頻的一種高級語義線索，視頻中的文本(包括主題字幕信息和語音腳本)所包含的信息對于視頻內容的理解具有很高的價

2、值。如何從視頻中檢測、抽取主題字幕，如何得到視頻語音腳本，如何對同一視頻故事的字幕信息和音頻腳本進行有效融合等是視頻語義信息提取的關鍵問題。
　　 本文提出了一種基于多模態(tài)特征融合的新聞視頻語義信息提取框架。首先，對主題字幕進行檢測、定位、識別；其次，對視頻中的音頻信息進行分類和語音識別；最后，為解決語音識別結果錯誤率較高的問題，由主題字幕信息通過搜索引擎得到與視頻故事相關的網頁，利用網頁文本對語音識別的結果糾錯。通過自然語言層