基于語義理解的圖像檢索研究.pdf

1、隨著計算機(jī)和網(wǎng)絡(luò)社交媒體的快速發(fā)展，海量的多媒體數(shù)據(jù)在互聯(lián)網(wǎng)上大量涌現(xiàn)，這給包括圖像檢索在內(nèi)的多媒體信息處理帶來巨大挑戰(zhàn)。傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)建立在底層視覺特征的基礎(chǔ)上，無法準(zhǔn)確描述圖像數(shù)據(jù)中復(fù)雜的對象、事件、行為和場景等信息；同時，用戶的檢索意圖需用思維中較高層次的語義概念來進(jìn)行表達(dá)，由此便產(chǎn)生了底層視覺特征和高層語義之間的“語義鴻溝”。對于圖像檢索，關(guān)鍵問題是如何減小“語義鴻溝”，解決問題的思路在于使用有效的方法增強(qiáng)對圖像語

2、義的描述和解釋能力。本文圍繞基于語義的圖像檢索的中幾個問題，提出基于機(jī)器學(xué)習(xí)理論的圖像檢索算法。歸納起來，本文的主要內(nèi)容包括：
　　受損圖像的視覺和語義信息都受到破壞，特別當(dāng)受損區(qū)域較大時，會對圖像檢索性能造成影響。考慮圖像修復(fù)中的結(jié)構(gòu)重建和紋理修復(fù)，利用圖像分解技術(shù)，將圖像分解成為結(jié)構(gòu)和紋理兩部分；通過分析兩部分在兩個頻率域的特征分布，利用低秩矩陣填充，使用觀測數(shù)據(jù)構(gòu)建超完備矩陣分別實現(xiàn)圖像的結(jié)構(gòu)重建和紋理修復(fù)。結(jié)果顯示，相對于

3、傳統(tǒng)圖像修復(fù)方法，我們的方法可以更好的恢復(fù)原始信息。
　　針對圖像檢索存在的準(zhǔn)確度和效率問題，本文提出一種改進(jìn)的局部特征保持的圖像索引算法。通過分析圖像像素內(nèi)在約束關(guān)系，利用流形學(xué)習(xí)技術(shù)，在局部結(jié)構(gòu)保持的前提下獲得高維特征在低維子空間的數(shù)據(jù)表達(dá)；設(shè)計基于比特級的檢索機(jī)制，在降維數(shù)據(jù)的基礎(chǔ)上進(jìn)一步將其轉(zhuǎn)化為二進(jìn)制編碼。實驗結(jié)果表明，本章方法可以同時在檢索準(zhǔn)確率和效率兩方面取得良好的效果。
　　對于僅含邊緣的圖像，由于視覺信息少

4、，使得語義描述和檢索模型難以構(gòu)建。利用視覺詞袋模型，提出了一種新的基于積量化和稀疏編碼的草圖檢索方法，以準(zhǔn)確獲取圖像的語義信息。通過使用最新的邊緣特描述算法，對于特定結(jié)構(gòu)的、僅含邊緣信息的圖像進(jìn)行特征化描述，借鑒積量化方法，設(shè)計一種具有高區(qū)分度的視覺詞袋模型，有效解決原始輸入圖像信息量少、識別模型構(gòu)建困難的問題；同時在量化過程中考慮殘差信息，最大限度的減少量化過程中的信息損失，進(jìn)而可以得到查詢草圖和測試數(shù)據(jù)的最優(yōu)化的表達(dá)；通過計算由查詢

5、草圖和測試數(shù)據(jù)的特征直方圖來計算相似度并得到最終的結(jié)果。
　　異構(gòu)媒體數(shù)據(jù)通常具有不同的維度和特征分布，這使得跨媒體檢索難以實現(xiàn)良好的性能。利用異構(gòu)特征增強(qiáng)的方法解決跨媒體檢索中的異構(gòu)域適應(yīng)問題。使用源域和目標(biāo)域的數(shù)據(jù)訓(xùn)練出增強(qiáng)的分類器，這種分類器使用了來自目標(biāo)域中的知識，因而具有更好的性能，能夠?qū)崿F(xiàn)文本→圖像和圖像→文本間實現(xiàn)跨媒體搜索；利用相關(guān)反饋機(jī)制，分析原始搜索結(jié)果的語義關(guān)聯(lián)，通過構(gòu)建詞袋模型和相似度計算進(jìn)行重排序以獲得優(yōu)