視音頻信息融合算法研究.pdf

1、近年來(lái)，隨著計(jì)算機(jī)信息化進(jìn)程的發(fā)展，越來(lái)越多的視頻設(shè)備以及技術(shù)應(yīng)用到人們的學(xué)習(xí)以及日常生活中。視頻會(huì)議、視頻搜索引擎技術(shù)以及視頻數(shù)據(jù)查詢等等技術(shù)的應(yīng)用，在包括電影、電視、會(huì)議記錄、科學(xué)文獻(xiàn)等眾多領(lǐng)域產(chǎn)生了大量的非文本數(shù)據(jù)。對(duì)于個(gè)人而言，個(gè)人攝影設(shè)備的普及，以及互聯(lián)網(wǎng)技術(shù)的改進(jìn)，讓普通人發(fā)布個(gè)人拍攝視頻變得極其簡(jiǎn)單，也因此產(chǎn)生了大量的視頻數(shù)據(jù)。如何處理如此眾多的多媒體信息，如何組織數(shù)據(jù)并對(duì)其建立索引進(jìn)行檢索，對(duì)現(xiàn)有的視頻處理技術(shù)是個(gè)嚴(yán)峻考

2、驗(yàn)。
　　 早期的多媒體信息檢索算法已經(jīng)偏離了便宜操作的最初目的，未來(lái)檢索算法的設(shè)計(jì)需要融合底層更多具有代表性的視覺(jué)、聽覺(jué)、語(yǔ)義特征。視頻信息的多模態(tài)性質(zhì)為信息融合提供了基礎(chǔ)?，F(xiàn)有的分析融合技術(shù)大多針對(duì)單一模態(tài)，但是視頻是具有多模態(tài)性質(zhì)的特殊數(shù)據(jù)，并且在描述同一主題時(shí)，其包含的多種模態(tài)具有很大關(guān)聯(lián)性。因此需要一種有效的方法對(duì)視頻進(jìn)行融合分析，用于更加準(zhǔn)確地對(duì)視頻進(jìn)行分類和檢索。本文在處理視頻特征、融合視頻特征過(guò)程中的主要工作如下

3、：
　　 1、針對(duì)目前處理視頻數(shù)據(jù)的模型定義局限于新聞、廣告等特定領(lǐng)域，并且處理過(guò)程中使用的處理技術(shù)過(guò)于單一、陳舊，本文采用研究分析證明的一系列相對(duì)高效的視頻處理技術(shù)定義了一個(gè)相對(duì)完備的視頻檢索預(yù)處理模型。該模型利用視頻底層特征的多模態(tài)性質(zhì)，提取出視頻的時(shí)間結(jié)構(gòu)，然后對(duì)內(nèi)容進(jìn)行特征提取，從原始視頻中構(gòu)造出視頻數(shù)據(jù)的子集。本文基于此過(guò)程提取出視頻的關(guān)鍵幀，并從視頻的音頻流中提取出音頻特征。
　　 為簡(jiǎn)化運(yùn)算，對(duì)提取出的底層

4、特征統(tǒng)一進(jìn)行降維處理，本文采用的降維算法為Shuicheng Yan等人最新研究的——邊際fisher分析降維算法，該方法優(yōu)于目前通常采用的PCA、LDA等降維算法。根據(jù)得到的各種特征向量，利用魯棒性較好的支持向量機(jī)SVM分類器分類處理。
　　 2、在對(duì)基于多模態(tài)特征的分類結(jié)果進(jìn)行融合時(shí)，提出了一種改進(jìn)的MGR融合算法。依據(jù)特征向量經(jīng)分類器處理后輸出的樣本序號(hào)矩陣，基于Melnik等設(shè)計(jì)的融合框架，為實(shí)現(xiàn)置信度和優(yōu)先權(quán)的優(yōu)化，設(shè)