面向網(wǎng)絡(luò)視頻檢索的多模態(tài)融合方法研究.pdf

1、隨著網(wǎng)絡(luò)和多媒體技術(shù)的發(fā)展，視頻分享網(wǎng)站中網(wǎng)絡(luò)視頻數(shù)量呈爆炸式增長(zhǎng)，用戶對(duì)視頻檢索需求越來越高，因此網(wǎng)絡(luò)上圖像視頻檢索成為重要的研究課題。圖像視頻檢索當(dāng)前有三種方式:基于文本的圖像視頻檢索，基于內(nèi)容的圖像檢索(CBIR:Content Based Image Retrieval)和兩模態(tài)融合的圖像視頻檢索?；谖谋镜膱D像視頻檢索流程，受上傳者提供視頻標(biāo)題、標(biāo)簽的主觀性影響大，使得檢索準(zhǔn)確度不具有穩(wěn)定性;在基于內(nèi)容的圖像視頻檢索流程中，很

2、大程度上面依賴于上傳視頻、圖片的質(zhì)量，此外基于此流程的算法時(shí)間復(fù)雜度高，對(duì)數(shù)據(jù)的自適應(yīng)性差，使得CBIR系統(tǒng)面臨很大的挑戰(zhàn);傳統(tǒng)的多模融合方法雖然在一定程度上解決了此類問題，但是針對(duì)Web視頻較少考查視頻的有用社會(huì)特征，并且單純從某一個(gè)或兩個(gè)模態(tài)出發(fā)的檢索方案不能滿足“圖像理解”的需要。綜上所述，本文主要研究有效的多模融合方案，貢獻(xiàn)如下:
　　首先，本文提出一種新的網(wǎng)絡(luò)視頻多模態(tài)融合檢索方案。分別從視頻視覺內(nèi)容，視頻標(biāo)題和標(biāo)簽的文

3、本信息，以及視頻上傳時(shí)間、類別、作者三種人與視頻交互產(chǎn)生的社會(huì)特征等異構(gòu)信息出發(fā)進(jìn)行多模態(tài)融合研究，并將此方法應(yīng)用到大規(guī)模圖像視頻檢索任務(wù)中。Youtube數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示:相對(duì)于傳統(tǒng)單一文本特征、單一視覺特征的檢索方案以及兩模態(tài)融合的檢索方案，我們的文本、視覺和用戶社會(huì)特征多模態(tài)融合融合方案表現(xiàn)出更好的性能。
　　其次，本文提出了一種主動(dòng)式的內(nèi)部參數(shù)調(diào)優(yōu)算法和模態(tài)間參數(shù)的自學(xué)習(xí)算法。上文提到的多模態(tài)融合檢索方案面臨著兩個(gè)問

4、題，各模態(tài)內(nèi)部和模態(tài)間參數(shù)過多的問題。對(duì)于第一個(gè)問題，如果在模態(tài)內(nèi)部做簡(jiǎn)單加權(quán)，模態(tài)內(nèi)部權(quán)重系數(shù)一般只能由個(gè)人經(jīng)驗(yàn)給出，受主觀因素影響大。針對(duì)多種社會(huì)特征，本文通過各模態(tài)內(nèi)參數(shù)調(diào)整并自動(dòng)迭代調(diào)優(yōu)，實(shí)現(xiàn)了內(nèi)部參數(shù)的自適應(yīng)學(xué)習(xí)。針對(duì)第二個(gè)問題，在單純應(yīng)用一個(gè)或兩個(gè)模態(tài)的情況下，可通過試參方式對(duì)參數(shù)進(jìn)行選取，模態(tài)特性過多時(shí)調(diào)參過程復(fù)雜，本文通過考查多模態(tài)類結(jié)構(gòu)的分類有效性，利用分類方法達(dá)到模態(tài)間參數(shù)自學(xué)習(xí)的目的。最后，本文利用給出的多模融合方