基于語(yǔ)義理解的圖像檢索研究.pdf

1、隨著計(jì)算機(jī)和網(wǎng)絡(luò)社交媒體的快速發(fā)展，海量的多媒體數(shù)據(jù)在互聯(lián)網(wǎng)上大量涌現(xiàn)，這給包括圖像檢索在內(nèi)的多媒體信息處理帶來(lái)巨大挑戰(zhàn)。傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)建立在底層視覺(jué)特征的基礎(chǔ)上，無(wú)法準(zhǔn)確描述圖像數(shù)據(jù)中復(fù)雜的對(duì)象、事件、行為和場(chǎng)景等信息；同時(shí)，用戶的檢索意圖需用思維中較高層次的語(yǔ)義概念來(lái)進(jìn)行表達(dá)，由此便產(chǎn)生了底層視覺(jué)特征和高層語(yǔ)義之間的“語(yǔ)義鴻溝”。對(duì)于圖像檢索，關(guān)鍵問(wèn)題是如何減小“語(yǔ)義鴻溝”，解決問(wèn)題的思路在于使用有效的方法增強(qiáng)對(duì)圖像語(yǔ)

2、義的描述和解釋能力。本文圍繞基于語(yǔ)義的圖像檢索的中幾個(gè)問(wèn)題，提出基于機(jī)器學(xué)習(xí)理論的圖像檢索算法。歸納起來(lái)，本文的主要內(nèi)容包括：
　　受損圖像的視覺(jué)和語(yǔ)義信息都受到破壞，特別當(dāng)受損區(qū)域較大時(shí)，會(huì)對(duì)圖像檢索性能造成影響?？紤]圖像修復(fù)中的結(jié)構(gòu)重建和紋理修復(fù)，利用圖像分解技術(shù)，將圖像分解成為結(jié)構(gòu)和紋理兩部分；通過(guò)分析兩部分在兩個(gè)頻率域的特征分布，利用低秩矩陣填充，使用觀測(cè)數(shù)據(jù)構(gòu)建超完備矩陣分別實(shí)現(xiàn)圖像的結(jié)構(gòu)重建和紋理修復(fù)。結(jié)果顯示，相對(duì)于

3、傳統(tǒng)圖像修復(fù)方法，我們的方法可以更好的恢復(fù)原始信息。
　　針對(duì)圖像檢索存在的準(zhǔn)確度和效率問(wèn)題，本文提出一種改進(jìn)的局部特征保持的圖像索引算法。通過(guò)分析圖像像素內(nèi)在約束關(guān)系，利用流形學(xué)習(xí)技術(shù)，在局部結(jié)構(gòu)保持的前提下獲得高維特征在低維子空間的數(shù)據(jù)表達(dá)；設(shè)計(jì)基于比特級(jí)的檢索機(jī)制，在降維數(shù)據(jù)的基礎(chǔ)上進(jìn)一步將其轉(zhuǎn)化為二進(jìn)制編碼。實(shí)驗(yàn)結(jié)果表明，本章方法可以同時(shí)在檢索準(zhǔn)確率和效率兩方面取得良好的效果。
　　對(duì)于僅含邊緣的圖像，由于視覺(jué)信息少

4、，使得語(yǔ)義描述和檢索模型難以構(gòu)建。利用視覺(jué)詞袋模型，提出了一種新的基于積量化和稀疏編碼的草圖檢索方法，以準(zhǔn)確獲取圖像的語(yǔ)義信息。通過(guò)使用最新的邊緣特描述算法，對(duì)于特定結(jié)構(gòu)的、僅含邊緣信息的圖像進(jìn)行特征化描述，借鑒積量化方法，設(shè)計(jì)一種具有高區(qū)分度的視覺(jué)詞袋模型，有效解決原始輸入圖像信息量少、識(shí)別模型構(gòu)建困難的問(wèn)題；同時(shí)在量化過(guò)程中考慮殘差信息，最大限度的減少量化過(guò)程中的信息損失，進(jìn)而可以得到查詢草圖和測(cè)試數(shù)據(jù)的最優(yōu)化的表達(dá)；通過(guò)計(jì)算由查詢

5、草圖和測(cè)試數(shù)據(jù)的特征直方圖來(lái)計(jì)算相似度并得到最終的結(jié)果。
　　異構(gòu)媒體數(shù)據(jù)通常具有不同的維度和特征分布，這使得跨媒體檢索難以實(shí)現(xiàn)良好的性能。利用異構(gòu)特征增強(qiáng)的方法解決跨媒體檢索中的異構(gòu)域適應(yīng)問(wèn)題。使用源域和目標(biāo)域的數(shù)據(jù)訓(xùn)練出增強(qiáng)的分類(lèi)器，這種分類(lèi)器使用了來(lái)自目標(biāo)域中的知識(shí)，因而具有更好的性能，能夠?qū)崿F(xiàn)文本→圖像和圖像→文本間實(shí)現(xiàn)跨媒體搜索；利用相關(guān)反饋機(jī)制，分析原始搜索結(jié)果的語(yǔ)義關(guān)聯(lián)，通過(guò)構(gòu)建詞袋模型和相似度計(jì)算進(jìn)行重排序以獲得優(yōu)