視頻語義特征提取算法研究.pdf

1、多媒體技術(shù)的發(fā)展產(chǎn)生了大量的多媒體數(shù)據(jù)，多媒體壓縮技術(shù)和迅速擴張的互聯(lián)網(wǎng)便利了多媒體數(shù)據(jù)的存儲及傳輸。多媒體數(shù)據(jù)形式多樣，包括文本、圖像、音頻和視頻等。隨著多媒體數(shù)據(jù)量的急劇增加，傳統(tǒng)的基于文本的多媒體信息檢索越來越不能滿足應用的需要，人們希望計算機能夠自動地對多媒體數(shù)據(jù)的內(nèi)容進行分析、根據(jù)分析結(jié)果進行檢索，也就是基于內(nèi)容的多媒體信息檢索。 視頻是多媒體數(shù)據(jù)的一個重要組成部分，具有區(qū)別于其它多媒體數(shù)據(jù)的特性。視頻的組成復雜，包含

2、有文本、音頻和圖像等多方面的信息，視頻還同時涉及時間域和空間域，由此帶來了視頻分析的復雜性。面對越來越多的海量視頻數(shù)據(jù)，如何從中找到所需的視頻片斷(鏡頭或場景)成為一個日趨迫切的問題。因此，基于內(nèi)容的視頻檢索獲得了越來越多的關(guān)注。 視頻語義特征提取是基于內(nèi)容的視頻檢索中的一個關(guān)鍵環(huán)節(jié)。視頻語義特征提取的任務就是將底層物理特征映射到視頻語義特征，實現(xiàn)對視頻的自動語義標注。視頻具有時空特性，圖像幀從空間域描述了視頻內(nèi)容，視頻運動則從

3、時間域描述了視頻內(nèi)容。目前，相關(guān)的視頻語義特征提取的工作主要集中于TRECVID，IBM和CMU等研究機構(gòu)在此評測中取得了較好的成績。但是，底層物理特征和視頻語義特征之間仍然存在著“語義鴻溝”，視頻語義特征的提取方法仍然不夠成熟，需要進一步的研究和探討。 本文就視頻語義特征提取中的兩方面問題，視頻運動分析和高層語義特征提取，分別進行了討論并提出了新的相關(guān)算法。 視頻運動分析是將光流場(0FF)或運動向量場(MVF)的特征

4、映射到具體的運動類型。運動類型是從時間域描述視頻內(nèi)容，反映視頻語義。傳統(tǒng)的視頻運動分析假設(shè)物體運動或者是相機運動主導了視頻運動，在分析此種假設(shè)不合理的基礎(chǔ)之上，我們闡述了判斷視頻運動起因的必要性和可能性，提出了新的視頻運動分析框架，并給出了一種利用運動向量相互關(guān)系判斷運動起因的算法。 高層語義特征提取是將底層物理特征映射到高層語義特征。視頻局部高層語義特征，即物體特征，描述的是圖像幀中的物體，是圖像幀的一個局部?？紤]到物體本身以