融合CCA和Adaboost的跨模態(tài)多媒體信息檢索.pdf

1、十九世紀(jì)九十年代初，人們開(kāi)始對(duì)多媒體信息檢索領(lǐng)域進(jìn)行探索。其中，基于內(nèi)容的多媒體信息檢索成為了當(dāng)時(shí)該領(lǐng)域上一個(gè)新興的熱點(diǎn)課題。同時(shí)也成為了計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)備受關(guān)注的研究方向。在多媒體信息檢索領(lǐng)域中主要應(yīng)用了多種機(jī)器學(xué)習(xí)方法以及人工智能的方法，如統(tǒng)計(jì)分析、模式識(shí)別、人機(jī)交互等，用來(lái)解決基于文本關(guān)鍵字的多媒體信息檢索中所存在的不足，以及在人工選擇上所存在的主觀(guān)差異性。傳統(tǒng)的基于內(nèi)容的多媒體檢索技術(shù)主要應(yīng)用于單一的多媒體類(lèi)型檢索，例如圖像

2、檢索、文本檢索、視頻檢索、音頻檢索等，無(wú)法滿(mǎn)足人們?cè)诙嗄B(tài)下的檢索要求。這便使人們的研究方向轉(zhuǎn)向了跨模態(tài)的多媒體檢索，即跨媒體檢索。目前，跨媒體檢索技術(shù)主要有三種方法。第一種是基于融合分析研究的跨媒體檢索方法。該方法最初是將不同媒體的特征數(shù)據(jù)進(jìn)行融合。常用的融合方法有隨機(jī)類(lèi)方法，包括加權(quán)平均法、貝葉斯估計(jì)法等；以及人工智能類(lèi)方法包括模糊邏輯、神經(jīng)網(wǎng)絡(luò)等。第二種是基于關(guān)聯(lián)挖掘的方法。由于融合分析的研究方法很難在多媒體語(yǔ)義理解過(guò)程中完成信息

3、的互補(bǔ)和增強(qiáng)，因此有學(xué)者提出了關(guān)聯(lián)挖掘法，用于發(fā)現(xiàn)數(shù)據(jù)內(nèi)部更深層次的含義。常用的方法有，交叉索引關(guān)系、連接關(guān)系模型以及多媒體關(guān)系圖。第三種方法為相關(guān)性分析研究。在前兩種方法中，仍然存在底層數(shù)據(jù)向高層語(yǔ)義映射的困難。而同時(shí)，有學(xué)者指出，多媒體對(duì)象間存在著一種內(nèi)容上的相關(guān)性。利用相關(guān)性研究方法，不僅跨越了異構(gòu)媒體底層內(nèi)容上的差異而且保留了變量之間的相關(guān)性。其缺點(diǎn)是，該方法對(duì)數(shù)據(jù)的底層特征過(guò)于依賴(lài)，如果兩組變量間的關(guān)系非線(xiàn)性其效果并不明顯，并

4、且檢索準(zhǔn)確率不高。
　　本文對(duì)跨媒體檢索的進(jìn)行了進(jìn)一步的研究和擴(kuò)展，并提出：基于CCA和Adaboost的跨模態(tài)多媒體檢索方法和基于多映射融合的跨模態(tài)多媒體檢索方法兩種方法，并將這兩種方法應(yīng)用于圖像和文本之間的跨模態(tài)檢索中以證明方法的有效性。前者利用CCA方法來(lái)刻畫(huà)圖像和文本特征之間的相關(guān)性，利用Adaboost方法來(lái)進(jìn)行反饋，反復(fù)調(diào)整這種相關(guān)性，從而更加符合高層的跨媒體語(yǔ)義關(guān)系。后者從前者的基礎(chǔ)上，提出了兩種融合方法。第一種方法