多模態(tài)視頻信息檢索.pdf

1、隨著多媒體技術(shù)以及互聯(lián)網(wǎng)應(yīng)用的迅速發(fā)展,多媒體數(shù)據(jù)量特別是視頻數(shù)據(jù)量呈現(xiàn)爆炸式地增長,找到一種行之有效的視頻檢索方法越來越成為一種必須。高效的視頻檢索技術(shù)能夠極大的幫助人們在因特網(wǎng)上進行數(shù)字娛樂,提高人們的生活品質(zhì)?；诰W(wǎng)頁文本的檢索技術(shù)目前已經(jīng)比較成熟,百度和google已經(jīng)提供了可靠的在線檢索功能幫助人們在網(wǎng)絡(luò)上檢索相關(guān)文本內(nèi)容。相對于文本而言,視頻數(shù)據(jù)的組成結(jié)構(gòu)比較復(fù)雜,結(jié)構(gòu)上按粒度從大到小可以分為:幕,場景,鏡頭,幀,此外視頻本

2、身還帶有圖像,聲音以及文本等多種特征信息,由此帶來了視頻分析處理本身的復(fù)雜性,如何有效的進行視頻檢索也成了難題。事實上通過合理的利用這些存在于視頻中的各種特征信息可以有效的幫助人們進行視頻檢索,找到想要的內(nèi)容。迄今很多視頻檢索方法被提出來,早期的人們通過單獨利用視頻中挖掘出的圖像或文本等特征進行相關(guān)檢索。基于文本特征的檢索能夠保證檢索結(jié)果有較好的召回率而基于圖像特征的檢索對具有明顯圖像特征的查詢主題有不錯的效果;從整體來說,單一的使用某

3、種特征方式下的檢索,實際效果還不是很理想,于是人們考慮到將各種特征信息結(jié)合起來使用,利用各種特征信息不同的檢索優(yōu)勢并且配合機器學(xué)習(xí)技術(shù)的使用以提高視頻檢索的性能。于是根據(jù)每種特征信息可以建立單獨的子檢索模塊,而現(xiàn)階段的很多研究著眼于如何利用機器學(xué)習(xí)技術(shù)幫助訓(xùn)練融合各子檢索模塊上。雖然人們采用了很多方法來訓(xùn)練學(xué)習(xí)視頻檢索引擎,但是當(dāng)前的視頻檢索技術(shù)能達(dá)到的性能還不是很理想。主要原因在于沒能充分的挖掘出視頻中蘊含的各種信息,在這種情況下只考

4、慮機器學(xué)習(xí)方面的研究,并不能從本質(zhì)上提高視頻檢索的性能。我們的算法從視頻內(nèi)容本身出發(fā),著眼于從視頻本身挖掘出更多有用的資源信息然后將這些信息加以融合來提高視頻檢索的精度。只有充分的挖掘出視頻本身的各種特征信息以及這些信息之間的相關(guān)聯(lián)系,才能真正的提高視頻檢索的性能提高?？紤]到充分利用視頻本身蘊含的各種特征信息,本文提出了一種新的多模態(tài)檢索模型,基于這個模型我們實現(xiàn)了相應(yīng)的手動式搜索和交互式搜索的算法方案。我們以一年一度的TRECVID視