融合CCA和Adaboost的跨模態(tài)多媒體信息檢索.pdf

1、十九世紀九十年代初，人們開始對多媒體信息檢索領域進行探索。其中，基于內(nèi)容的多媒體信息檢索成為了當時該領域上一個新興的熱點課題。同時也成為了計算機視覺領域中一個備受關注的研究方向。在多媒體信息檢索領域中主要應用了多種機器學習方法以及人工智能的方法，如統(tǒng)計分析、模式識別、人機交互等，用來解決基于文本關鍵字的多媒體信息檢索中所存在的不足，以及在人工選擇上所存在的主觀差異性。傳統(tǒng)的基于內(nèi)容的多媒體檢索技術主要應用于單一的多媒體類型檢索，例如圖像

2、檢索、文本檢索、視頻檢索、音頻檢索等，無法滿足人們在多模態(tài)下的檢索要求。這便使人們的研究方向轉(zhuǎn)向了跨模態(tài)的多媒體檢索，即跨媒體檢索。目前，跨媒體檢索技術主要有三種方法。第一種是基于融合分析研究的跨媒體檢索方法。該方法最初是將不同媒體的特征數(shù)據(jù)進行融合。常用的融合方法有隨機類方法，包括加權平均法、貝葉斯估計法等；以及人工智能類方法包括模糊邏輯、神經(jīng)網(wǎng)絡等。第二種是基于關聯(lián)挖掘的方法。由于融合分析的研究方法很難在多媒體語義理解過程中完成信息

3、的互補和增強，因此有學者提出了關聯(lián)挖掘法，用于發(fā)現(xiàn)數(shù)據(jù)內(nèi)部更深層次的含義。常用的方法有，交叉索引關系、連接關系模型以及多媒體關系圖。第三種方法為相關性分析研究。在前兩種方法中，仍然存在底層數(shù)據(jù)向高層語義映射的困難。而同時，有學者指出，多媒體對象間存在著一種內(nèi)容上的相關性。利用相關性研究方法，不僅跨越了異構(gòu)媒體底層內(nèi)容上的差異而且保留了變量之間的相關性。其缺點是，該方法對數(shù)據(jù)的底層特征過于依賴，如果兩組變量間的關系非線性其效果并不明顯，并

4、且檢索準確率不高。
　　本文對跨媒體檢索的進行了進一步的研究和擴展，并提出：基于CCA和Adaboost的跨模態(tài)多媒體檢索方法和基于多映射融合的跨模態(tài)多媒體檢索方法兩種方法，并將這兩種方法應用于圖像和文本之間的跨模態(tài)檢索中以證明方法的有效性。前者利用CCA方法來刻畫圖像和文本特征之間的相關性，利用Adaboost方法來進行反饋，反復調(diào)整這種相關性，從而更加符合高層的跨媒體語義關系。后者從前者的基礎上，提出了兩種融合方法。第一種方法