基于多距離學(xué)習(xí)的圖像語(yǔ)義自動(dòng)標(biāo)注研究.pdf

1、隨著數(shù)碼攝像設(shè)備的普及和社交網(wǎng)絡(luò)的流行，每天有數(shù)以萬(wàn)計(jì)的數(shù)字圖像被上傳到互聯(lián)網(wǎng)上并分享。正所謂一圖勝千言，海量圖像數(shù)據(jù)中蘊(yùn)藏著豐富的信息資源有待我們?nèi)グl(fā)掘，而對(duì)這些圖像進(jìn)行有效的管理和利用的前提是要對(duì)圖像進(jìn)行語(yǔ)義標(biāo)注。但互聯(lián)網(wǎng)上大部分圖片本身不具有語(yǔ)義標(biāo)簽，有語(yǔ)義標(biāo)簽的圖片又存在著標(biāo)簽錯(cuò)誤或者標(biāo)簽不完整等問(wèn)題，加之人工圖像標(biāo)注代價(jià)較高、難以大規(guī)模使用，圖像語(yǔ)義自動(dòng)標(biāo)注（Automatic Image Annotation，AIA）一直是

2、近十年來(lái)的熱門(mén)研究課題，引起了學(xué)術(shù)界、工業(yè)界的廣泛關(guān)注。
　　圖像標(biāo)注面臨的最大挑戰(zhàn)來(lái)自于高層語(yǔ)義和底層圖像視覺(jué)特征之間的不匹配，即所謂的“語(yǔ)義鴻溝”。近年來(lái)研究者們提出了很多方法嘗試跨越語(yǔ)義鴻溝，這些方法大致可以分為兩類:其中一類為視覺(jué)特征學(xué)習(xí)技術(shù)，主要關(guān)注多種圖像特征如何綜合使用;另一類方法是語(yǔ)義上下文建模技術(shù)，主要利用了高層語(yǔ)義概念之間的相關(guān)信息。相比之前的標(biāo)注模型，這兩類方法都在標(biāo)注效果上取得了較顯著的提高。如果能進(jìn)一步將

3、兩者結(jié)合起來(lái)，圖像標(biāo)注準(zhǔn)確性應(yīng)該能得到進(jìn)一步的提升，然而據(jù)我們所知，目前幾乎沒(méi)有工作嘗試整合這兩種方法。
　　本文提出了一個(gè)基于條件隨機(jī)場(chǎng)（Conditional Random Fields，CRF）的統(tǒng)一模型——“核條件隨機(jī)場(chǎng)（Kemelized Conditional Random Fields，KCRF）”模型，將稀疏多距離學(xué)習(xí)和語(yǔ)義上下文建模融合到一個(gè)框架中，在底層圖像特征學(xué)習(xí)和語(yǔ)義上下文建模之間建立了緊密的相互作用。具體

4、來(lái)講，CRF負(fù)責(zé)建模圖像語(yǔ)義上下文關(guān)系，在CRF的大框架下我們通過(guò)引入核Logistic回歸(KemelizedLogistic Regression，KLR)[17]實(shí)現(xiàn)了多視覺(jué)距離學(xué)習(xí)。我們分別為語(yǔ)義上下文參數(shù)和多距離學(xué)習(xí)參數(shù)使用L2正則化項(xiàng)和L1正則化項(xiàng)。語(yǔ)義上下文參數(shù)和多距離學(xué)習(xí)參數(shù)在統(tǒng)一的框架下同時(shí)學(xué)習(xí)得到。
　　我們?cè)趦蓚€(gè)公用數(shù)據(jù)集—— Corel5k和TRECVID2005——上進(jìn)行了系統(tǒng)的實(shí)驗(yàn)，驗(yàn)證KCRF模型的標(biāo)

5、注性能。從實(shí)驗(yàn)結(jié)果可以看出，KCRF模型比目前較先進(jìn)的多特征學(xué)習(xí)、語(yǔ)義上下文建模等圖像標(biāo)注模型在標(biāo)注準(zhǔn)確度上有比較明顯的提高。實(shí)驗(yàn)同時(shí)證明了KCRF的性能提升來(lái)自于上下文建模和多距離學(xué)習(xí)的結(jié)合，而非來(lái)自于單獨(dú)一種方法。另外，當(dāng)圖像特征的數(shù)量較多時(shí)，KCRF模型也表現(xiàn)得更加穩(wěn)定。
　　本文還基于較成熟、有效的上下文建模方法實(shí)現(xiàn)了一個(gè)具有交互功能的圖像語(yǔ)義自動(dòng)標(biāo)注系統(tǒng)。該系統(tǒng)操作簡(jiǎn)單，能夠?qū)τ脩羯蟼鞯膱D像實(shí)現(xiàn)批量式的有效的語(yǔ)義標(biāo)注，也