面向web圖片檢索的文本和圖片信息融合技術研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,人類大步邁入信息時代?；ヂ?lián)網(wǎng)使人們足不出戶就能閱讀到世界各國的信息,更使得人們可以在彈指揮手間不受時間和地域的限制獲取想要的信息。互聯(lián)網(wǎng)已經(jīng)成為人類最大的數(shù)據(jù)庫、知識交換的重要平臺、信息共享的重要途徑?；ヂ?lián)網(wǎng)上可獲取的信息已從簡單的文本信息,全面擴展到圖像、視頻、音頻、圖形等各種多媒體信息。因此如何從這浩瀚數(shù)據(jù)海洋中檢索出用戶感興趣的圖片是一個非常具有挑戰(zhàn)性的任務。
　　與此同時,多媒體對象之間呈現(xiàn)出了跨媒體的特

2、征,主要表現(xiàn)在多種類型媒體數(shù)據(jù)混合并存、組織結(jié)構復雜,而且往往不同類型的媒體數(shù)據(jù)從各個側(cè)面表達了同一語義。媒體對象間的這些跨媒體特點要求進行web圖片檢索中能夠充分考慮到這些特點,并合理加以利用。也就是需要對于多種模態(tài)的媒體對象進行融合分析,挖掘出它們之間潛在的語義聯(lián)系,以語義為橋梁,在檢索時實現(xiàn)多媒體之間的融合。本文針對圖像與文本之間的關系,在通過文本信息實現(xiàn)圖像檢索的基礎上,引入圖像自身的內(nèi)容信息之間的相似性,實現(xiàn)文本與圖像的融合,

3、使達到更好的檢索效果。
　　本文提出了一種文本和圖片相似性矩陣融合的方法。它是根據(jù)計算得到文本相似性矩陣和圖片相似性矩陣,把兩個矩陣水平拼接在一起形成一個大的相似性矩陣,這是一個矩陣級別的相似性融合,也是本文作者對融合的一次新的嘗試,然后對融合以后的相似性矩陣進行聯(lián)合聚類,使得聚類以后的結(jié)果融合文本信息和圖片信息。
　　本文還提出了一種錯誤驅(qū)動融合的方法。它是利用文本研究的成熟技術,提出了一個基于文本相似性聯(lián)合聚類,再利用圖