基于互聯(lián)網(wǎng)數(shù)據(jù)集的圖像標(biāo)注技術(shù)研究.pdf

1、隨著數(shù)碼設(shè)備的日益普及以及互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，Web圖像資源越來越豐富。但由于Web數(shù)據(jù)具有多樣性、復(fù)雜性和無規(guī)則性等特點，如何快速、準(zhǔn)確地從海量Web資源中查找用戶感興趣的圖像成為一項非常具有挑戰(zhàn)性的任務(wù)。解決這一問題的重要途徑就是通過對互聯(lián)網(wǎng)圖像進(jìn)行自動圖像標(biāo)注，建立圖像底層視覺內(nèi)容與高層語義之間的聯(lián)系，并利用標(biāo)注詞對圖像進(jìn)行索引。近年來，以Flickr為代表的圖片共享社區(qū)的興起與繁榮也讓圖像標(biāo)注在Web2.0環(huán)境下被賦予了新的生

2、命。此外，自動圖像標(biāo)注在家庭影集的管理、醫(yī)學(xué)圖像檢索、商標(biāo)檢索和人臉識別等方面都有著廣泛的應(yīng)用。 由于圖像數(shù)量的巨大，依靠手工對圖像進(jìn)行標(biāo)注費用昂貴，已經(jīng)不能滿足實際的需要。從標(biāo)注使用的訓(xùn)練集來看，自動圖像標(biāo)注技術(shù)經(jīng)歷了兩個階段：第一個階段可以看成是在有限數(shù)據(jù)集上的圖像標(biāo)注，利用一些傳統(tǒng)的機(jī)器學(xué)習(xí)、物體識別的方法建立圖像底層特征和高層語義的聯(lián)系，如基于分類器的方法、基于跨媒體相關(guān)的方法、基于翻譯模型的方法以及基于隱變量的生成式模

3、型方法等；第二個階段是基于互聯(lián)網(wǎng)數(shù)據(jù)集的圖像標(biāo)注方法，這種方法更多的是從標(biāo)注的框架和效率入手，充分利用了互聯(lián)網(wǎng)的豐富資源，大大拓展了訓(xùn)練集的范圍，因而更符合互聯(lián)網(wǎng)環(huán)境下圖像標(biāo)注的實際需要，也是近年來圖像標(biāo)注研究的熱點。 本文主要對基于互聯(lián)網(wǎng)數(shù)據(jù)集的圖像標(biāo)注中的一些關(guān)鍵問題進(jìn)行研究，主要成果和創(chuàng)新之處包括以下幾個方面： 討論了構(gòu)建互聯(lián)網(wǎng)標(biāo)注詞詞典的重要性，研究了如何從浩如煙海的互聯(lián)網(wǎng)詞匯中選擇合適的標(biāo)注詞集合，并分析了詞典

4、中詞語需要滿足的條件。論文根據(jù)圖片共享社區(qū)中詞語的統(tǒng)計特性，提出了一種基于隨機(jī)游走的標(biāo)注詞重要性建模方法，詞語的重要性是根據(jù)用戶的歷史標(biāo)注情況以及詞語之間的相互關(guān)系衡量的，然后根據(jù)詞語的重要性排序構(gòu)建標(biāo)注詞詞典。此外，還根據(jù)圖片共享社區(qū)提供的標(biāo)注詞的豐富的語義資源，對帶有初 始關(guān)鍵詞的互聯(lián)網(wǎng)圖像標(biāo)注進(jìn)行語義消歧，通過尋找待標(biāo)注圖像在圖像共享社區(qū)中的合適的語義類，減少“語義鴻溝”的影響，使最后學(xué)習(xí)出的標(biāo)注詞語義更加一致。

5、提出利用多模態(tài)相互加強(qiáng)原理進(jìn)行圖像標(biāo)注。首先給定單幅圖像，利用基本圖像標(biāo)注模型得到初始標(biāo)注詞，然后在基于隨機(jī)游走的圖像標(biāo)注優(yōu)化框架的基礎(chǔ)上，通過標(biāo)注詞相關(guān)圖和圖像內(nèi)容相關(guān)圖之間相互加強(qiáng)原理，利用穩(wěn)定狀態(tài)下的新的相關(guān)性進(jìn)行優(yōu)化，可以更好地保證圖像內(nèi)容和最終標(biāo)注詞之間的關(guān)聯(lián)，同時也保持了標(biāo)注詞的語義一致性。由于互聯(lián)網(wǎng)圖像所在網(wǎng)頁的文本提供了豐富的語義信息，我們提出利用網(wǎng)頁文檔之間相似性與正文中命名實體的相互加強(qiáng)原理，更好地表示了網(wǎng)頁文檔之間

6、的相似性。 提出了一種基于互聯(lián)網(wǎng)數(shù)據(jù)集的家庭影集聯(lián)合標(biāo)注框架。與單幅圖像標(biāo)注問題不同，我們考慮了利用影集內(nèi)圖像的相關(guān)性對多幅圖像進(jìn)行聯(lián)合標(biāo)注。首先對家庭影集中的圖像進(jìn)行聚類，然后從互聯(lián)網(wǎng)數(shù)據(jù)中學(xué)習(xí)圖像簇的初始標(biāo)注詞，再將初始標(biāo)注結(jié)果輸入半監(jiān)督學(xué)習(xí)框架中進(jìn)行后續(xù)處理，這里的半監(jiān)督學(xué)習(xí)框架同時考慮了視覺內(nèi)容相關(guān)性、標(biāo)注詞相關(guān)性以及時間相關(guān)性等。 提出了一種基于跨媒體相關(guān)的個性化圖像標(biāo)注詞推薦模型P-DCMRM。該模型綜合考慮