海量圖像語(yǔ)義分析和檢索技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展、各種數(shù)字化設(shè)備的普及以及大規(guī)模存儲(chǔ)設(shè)備的不斷改進(jìn)，全世界以各種形式產(chǎn)生的數(shù)字圖像的數(shù)量正在以驚人的速度增長(zhǎng)。大量使用的數(shù)字圖像構(gòu)成了娛樂(lè)、商業(yè)、教育等應(yīng)用的基礎(chǔ)，出現(xiàn)了許多大型圖像數(shù)據(jù)庫(kù)。海量圖像信息的管理、檢索及其應(yīng)用得到越來(lái)越多的關(guān)注和研究，如何快速、有效地檢索迅速激增的可視信息已成為一個(gè)亟待解決的問(wèn)題。
　　 基于內(nèi)容的圖像檢索技術(shù)(CBIR)利用圖像的客觀視覺(jué)特征進(jìn)行圖像的桐似匹配檢索，作為一種自動(dòng)

2、的客觀的反映圖像內(nèi)容的檢索方式，在上世紀(jì)90年代被提出并逐漸蓬勃發(fā)展起來(lái)。然而，圖像低層的視覺(jué)特征內(nèi)容難以表達(dá)用戶的高層語(yǔ)義理解，即存在“語(yǔ)義鴻溝”，這種底層內(nèi)容與高層用戶理解之間的差異性是目前CBIR技術(shù)難以被廣泛用戶所接受的根本原因。另外圖像低層視覺(jué)特征的提取效率以及基于視覺(jué)高維特征的檢索技術(shù)的局限性(“維度災(zāi)難”)也使得CBIR技術(shù)難以直接應(yīng)用于海量圖像數(shù)據(jù)的檢索?；谡Z(yǔ)義的圖像檢索，從圖像內(nèi)容理解出發(fā)，著眼于提取和分析用戶對(duì)圖像

3、的理解信息，研究結(jié)合高層語(yǔ)義理解信息進(jìn)行檢索，是CBIR發(fā)展的一個(gè)方向。由于圖像語(yǔ)義信息本身的復(fù)雜性、主觀性等特點(diǎn)，在語(yǔ)義提取、表達(dá)、比較上都存在技術(shù)難點(diǎn)，因此，圖像語(yǔ)義檢索目前仍是多媒體信息檢索領(lǐng)域一個(gè)重要且極具挑戰(zhàn)性的研究課題。
　　 本文著重解決海量圖像數(shù)據(jù)語(yǔ)義檢索的核心問(wèn)題，研究特征關(guān)聯(lián)分析、語(yǔ)義知識(shí)描述、語(yǔ)義相似度量、語(yǔ)義融合檢索機(jī)制以及查詢理解、檢索結(jié)果聚類等一系列關(guān)鍵技術(shù)，并集成以上系統(tǒng)性研究成果，實(shí)現(xiàn)新型、完整、

4、高效的海量圖像語(yǔ)義檢索原型系統(tǒng)。本文工作的主要貢獻(xiàn)和創(chuàng)新總結(jié)如下：
　　 (1)深入探究“語(yǔ)義鴻溝”的原因、表現(xiàn)形式，從層次語(yǔ)義提取入手，以語(yǔ)義分析為出發(fā)點(diǎn)，提出一種面向海量圖像數(shù)據(jù)庫(kù)的語(yǔ)義層次模型：該模型結(jié)合詞匯學(xué)知識(shí)、領(lǐng)域知識(shí)、以及用戶反饋信息，以層次化結(jié)構(gòu)反映了“語(yǔ)義鴻溝”在不同層次上的表現(xiàn)形式，其優(yōu)點(diǎn)概括如下：a)通過(guò)層次語(yǔ)義關(guān)系既可以清晰表達(dá)不同的語(yǔ)義粒度，也可以表達(dá)不同語(yǔ)義之間的關(guān)聯(lián)，豐富語(yǔ)義層次和范圍；b)語(yǔ)義的復(fù)

5、雜性和多樣性導(dǎo)致直接獲取語(yǔ)義十分困難，自碩向下層次化語(yǔ)義構(gòu)建符合人們的認(rèn)知過(guò)程，更有效的獲得多方位多粒度的圖像語(yǔ)義。
　　 (2)研究融合語(yǔ)義非測(cè)度(non-metric)空間索引和視覺(jué)測(cè)度(metric)空間索引的檢索機(jī)制：首先提出了一種綜合度量圖像相似程度的“語(yǔ)義相似度量”準(zhǔn)則，從不同語(yǔ)義層次(視覺(jué)內(nèi)容、元語(yǔ)義、高級(jí)語(yǔ)義與圖像語(yǔ)義類別)探討了圖像語(yǔ)義的相似性問(wèn)題。基于此，設(shè)計(jì)了一種快速高效的二階段相似查詢索引機(jī)制。其優(yōu)點(diǎn)在于

6、：a)以文本語(yǔ)義為主，輔以視覺(jué)特征綜合考慮的相似度量準(zhǔn)則，更好地獲得用戶對(duì)圖像語(yǔ)義相似匹配的查詢理解；b)兩階段相似檢索算法結(jié)合文本語(yǔ)義和視覺(jué)特征分階段比較過(guò)濾，大大縮小了查詢檢索范圍，不僅在性能上相對(duì)于傳統(tǒng)的順序索引算法有指數(shù)級(jí)提高，同時(shí)也大幅提高查詢準(zhǔn)確度。
　　 (3)基于以上理論研究成果，實(shí)現(xiàn)高效可擴(kuò)展的支持多模式用戶查詢的海量圖像語(yǔ)義檢索原型系統(tǒng)-HISA：系統(tǒng)集成圖像特征獲取、圖像語(yǔ)義層次分析、圖像語(yǔ)義模型建立、語(yǔ)義

7、相似度量、融合索引機(jī)制等研究技術(shù)成果，支持基于關(guān)鍵字、圖像例子、以及二者結(jié)合的查詢，支持動(dòng)態(tài)層次分類目錄維護(hù)和瀏覽，提供圖像自動(dòng)標(biāo)注等功能以完善現(xiàn)有的檢索功能。并在此原型系統(tǒng)平臺(tái)基礎(chǔ)上用大量真實(shí)世界的圖像數(shù)據(jù)對(duì)本文提出的檢索算法進(jìn)行全面的評(píng)價(jià)分析，包括算法的各項(xiàng)參數(shù)調(diào)優(yōu)測(cè)試，以及與傳統(tǒng)檢索算法的效率比較和實(shí)例分析。實(shí)驗(yàn)結(jié)果證明了本文提出的檢索算法具有高可擴(kuò)展性、在性能上和準(zhǔn)確度上栩?qū)鹘y(tǒng)檢索算法有顯著改進(jìn)。
　　 (4)針對(duì)目前

8、互聯(lián)網(wǎng)協(xié)作標(biāo)簽(tag)的應(yīng)用背景，進(jìn)一步研究海量圖像共事資源基于tag關(guān)聯(lián)的語(yǔ)義理解和分析，提出了一種結(jié)合tag語(yǔ)義關(guān)聯(lián)信息分析的圖像結(jié)果聚類技術(shù)，以及基于此的迭代聚類檢索模式-Pivot Browsing：該查詢模式融合查詢擴(kuò)展機(jī)制、tag聚類算法、視覺(jué)特征重排、以及用戶反饋等關(guān)鍵技術(shù)，提供全新的靈活友好的圖像信息導(dǎo)航和用戶交互方式，使用戶能夠方便地瀏覽大量的紛繁復(fù)雜的查詢返回結(jié)果，快速準(zhǔn)確地找到想要的目標(biāo)，以及進(jìn)行信息發(fā)現(xiàn)。其中，

9、對(duì)于關(guān)鍵技術(shù)-tag聚類，本文采用自頂向下的啟發(fā)式的圖劃分算法實(shí)現(xiàn)快速、高效的結(jié)果聚類，滿足在線查詢的性能需求。該檢索模式不僅僅適用于圖像，也能應(yīng)用于更一般的tag空間信息檢索的模式，有很好的應(yīng)用前景。
　　 (5)將基于tag的圖像結(jié)果聚類迭代檢索技術(shù)系列研究納入之前海量圖像語(yǔ)義檢索的研究框架下，實(shí)現(xiàn)新穎的帶tag圖像語(yǔ)義檢索原型系統(tǒng)-PivotBrowser，并對(duì)基于tag迭代聚類的圖像語(yǔ)義檢索技術(shù)應(yīng)用展開(kāi)全面的分析：該原型