面向圖像檢索的視覺特征提取及語(yǔ)義標(biāo)注.pdf

1、目前面向圖像的搜索引擎主要有兩種:一是基于文本信息的圖像檢索系統(tǒng)，根據(jù)圖像信息通過人工進(jìn)行文本描述，該方式是在早期圖像量不大的時(shí)候提出的?，F(xiàn)在面對(duì)浩如煙海的圖片量，手工標(biāo)注的方式，勞力耗費(fèi)太大，并且具有較強(qiáng)的主觀性，標(biāo)注的人根據(jù)自己的認(rèn)知進(jìn)行判斷，圖片反饋的信息很大程度上跟人的心理活動(dòng)有關(guān)，因此這種檢索方式已經(jīng)越來(lái)越不能滿足現(xiàn)在的要求。二是基于圖像視覺內(nèi)容的圖像檢索系統(tǒng)。主要是通過提取穩(wěn)定的圖像視覺特征并形成描述子，構(gòu)建以距離相似度為索

2、引方式進(jìn)行檢索，返回按照底層特征相似度大小排序的圖像。但是人們檢索的思維習(xí)慣是在語(yǔ)義基礎(chǔ)上，視覺底層相似的圖像可能表達(dá)不同的語(yǔ)義信息，視覺特征不相同的圖像的語(yǔ)義信息有可能是相同的。這就是通常意義上基于內(nèi)容圖像檢索帶來(lái)的“語(yǔ)義鴻溝”。
　　本文就此展開研究，在機(jī)器學(xué)習(xí)的基礎(chǔ)上，將圖像底層視覺特征與高層語(yǔ)義建立映射關(guān)系，結(jié)合監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)兩種方式構(gòu)建語(yǔ)義標(biāo)注模型。選用Dense SIFT采樣形成SIFT局部描述符，完成對(duì)圖像的特

3、征提取和描述。由于特征維數(shù)較大，對(duì)每個(gè)描述符進(jìn)行降維，接下來(lái)對(duì)特征進(jìn)一步表達(dá)，分別選用詞袋(Bag of Word，BOW)、局部特征聚合描述符(Vector of Locally Aggregated Descriptors，VLAD)、Fisher向量(Fisher Vector, FV)。FV相對(duì)BOW具有較大的數(shù)據(jù)編碼優(yōu)勢(shì)，用較少的視覺詞典形成更加細(xì)致的中間表達(dá)。為了彌補(bǔ)特征描述子的不足，引入了空間金字塔的特征表示方法，豐富了圖

4、像特征空間信息，最后使用支持向量機(jī)標(biāo)注圖像語(yǔ)義。
　　圖像語(yǔ)義標(biāo)注模型被建立，圖像檢索可通過語(yǔ)義特征實(shí)現(xiàn)。但語(yǔ)義空間內(nèi)相似圖像太多，有時(shí)仍不能滿足用戶的需求。因此在此基礎(chǔ)上，本文在圖像檢索系統(tǒng)上加入圖像底層視覺特征的直接索引作為輔助檢索，能夠按照用戶視覺上相似度進(jìn)行排序，進(jìn)一步實(shí)現(xiàn)精確查找。該實(shí)現(xiàn)方法兼顧了由有監(jiān)督學(xué)習(xí)的方式得到的圖像語(yǔ)義特征和由無(wú)監(jiān)督學(xué)習(xí)的方式得到的底層視覺特征兩種方式的優(yōu)點(diǎn)，不僅實(shí)現(xiàn)了更符合人思維習(xí)慣的圖像檢索