結(jié)合全局觀測(cè)值的圖像區(qū)域語(yǔ)義自動(dòng)標(biāo)注研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和社交網(wǎng)站的廣泛應(yīng)用，互聯(lián)網(wǎng)上的圖像和視頻的數(shù)量以前所未有的速度增長(zhǎng)。與文字相比，圖像往往包含了更為豐富的信息，因此對(duì)于圖像信息的挖掘和探索一直是計(jì)算機(jī)科學(xué)研究的一個(gè)重要的課題。為了在海量的圖像里進(jìn)行有效地檢索和管理，圖像一般都被標(biāo)注了語(yǔ)義標(biāo)簽。圖像自動(dòng)標(biāo)注研究(Automatic Image Annotation，AIA)是研究如何自動(dòng)地根據(jù)圖像的內(nèi)容，將與其相關(guān)的語(yǔ)義標(biāo)簽賦給圖像。在過(guò)去幾年的研究中，很多與圖

2、像自動(dòng)標(biāo)注相關(guān)的方法被提出，并取得了很大的進(jìn)展。然而，圖像標(biāo)注僅僅是標(biāo)注了相關(guān)的物體是否在圖像里出現(xiàn)，并沒(méi)有具體地標(biāo)明物體出現(xiàn)在圖像當(dāng)中的位置。因此，對(duì)圖像的像素或區(qū)域進(jìn)行語(yǔ)義標(biāo)注的研究吸引了學(xué)術(shù)界越來(lái)越多的關(guān)注。
　　圖像區(qū)域的自動(dòng)標(biāo)注就是根據(jù)圖像區(qū)域的視覺(jué)內(nèi)容，將一個(gè)與其相關(guān)的語(yǔ)義標(biāo)簽賦給它。一個(gè)有效的方法是在對(duì)圖像區(qū)域進(jìn)行標(biāo)注的時(shí)候利用空間上下文信息，即考察相鄰區(qū)域的標(biāo)簽和視覺(jué)內(nèi)容。通常情況下，相鄰的圖像區(qū)域或像素往往具有相

3、同的語(yǔ)義標(biāo)簽，這被稱作“標(biāo)簽平滑性”。利用圖像區(qū)域在空間上的平滑性，圖像區(qū)域標(biāo)注的效果有了明顯的提升。但是，圖像的局部區(qū)域通常具有有限和模糊的視覺(jué)內(nèi)容。與圖像的區(qū)域相比，圖像整體的觀測(cè)信息具有更為豐富和清晰的觀測(cè)信息，這被稱作“全局觀測(cè)值”。對(duì)于圖像的局部觀測(cè)值來(lái)說(shuō)，圖像的全局觀測(cè)值是一個(gè)有效的補(bǔ)充。
　　本文提出了一個(gè)基于條件隨機(jī)場(chǎng)（Conditional Random Fields，CRF）的標(biāo)注模型，結(jié)合圖像局部觀測(cè)值和全局

4、觀測(cè)值，同時(shí)將語(yǔ)義上下文建模融合到模型當(dāng)中，通過(guò)利用不同尺度的圖像觀測(cè)信息和語(yǔ)義標(biāo)簽之間的相關(guān)關(guān)系來(lái)提高標(biāo)注的效果。條件隨機(jī)場(chǎng)能夠有效地利用圖像局部的觀測(cè)信息，圖像全局觀測(cè)值的引入則是對(duì)局部觀測(cè)值一個(gè)有效的補(bǔ)充，彌補(bǔ)了圖像局部的視覺(jué)信息的不足。在圖像當(dāng)中，很多語(yǔ)義標(biāo)簽往往會(huì)同時(shí)出現(xiàn)，這些語(yǔ)義標(biāo)簽具有相關(guān)性。圖像標(biāo)注的相關(guān)研究表明，語(yǔ)義上下文關(guān)系的利用能有效地提高圖像標(biāo)注的效果。在引入圖像全局觀測(cè)的同時(shí)，我們也對(duì)圖像級(jí)別語(yǔ)義上下文關(guān)系進(jìn)行

5、建模，進(jìn)一步提高對(duì)圖像全局觀測(cè)值的挖掘利用效果。在條件隨機(jī)場(chǎng)框架下，圖像局部觀測(cè)值和全局觀測(cè)值的參數(shù)能夠通過(guò)標(biāo)準(zhǔn)參數(shù)學(xué)習(xí)方法得到。
　　我們?cè)趦蓚€(gè)公用數(shù)據(jù)集——MSRC數(shù)據(jù)集和Corel數(shù)據(jù)集——上進(jìn)行了系統(tǒng)的實(shí)驗(yàn)，驗(yàn)證了本文提出的條件隨機(jī)場(chǎng)(CRF)模型的標(biāo)注性能。從實(shí)驗(yàn)的結(jié)果可以看出，本文提出的模型比目前較先進(jìn)的標(biāo)注模型在標(biāo)注準(zhǔn)確性上有了明顯地提高。實(shí)驗(yàn)證明了模型的性能提升來(lái)自與局部觀測(cè)值和全局觀測(cè)值的結(jié)合.，而不是來(lái)某一種單