基于屬性學(xué)習(xí)的零樣本圖像分類研究.pdf

1、零樣本圖像分類是目前遷移學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一，與傳統(tǒng)的圖像分類問(wèn)題不同，零樣本圖像分類在測(cè)試階段所分類和識(shí)別的樣本未參與分類器模型的訓(xùn)練。在零樣本圖像分類問(wèn)題中，為了實(shí)現(xiàn)從可見類別到不可見類別的知識(shí)遷移，分類模型就需要通過(guò)視覺屬性（屬性）來(lái)搭建一座從底層特征到類別標(biāo)簽的橋梁。屬性是指可以通過(guò)人工標(biāo)注并且能在圖像中觀察到的特性，是圖像內(nèi)容的高層描述，能夠同時(shí)被機(jī)器和人理解。大量的研究已經(jīng)顯示了屬性學(xué)習(xí)在目標(biāo)識(shí)別、圖像描述以及零樣本學(xué)習(xí)等

2、方面的作用。
　　首先，針對(duì)屬性學(xué)習(xí)、零樣本圖像分類以及基于屬性學(xué)習(xí)的零樣本學(xué)習(xí)的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了分析。然后，分別從二值屬性和相對(duì)屬性兩個(gè)方面入手，針對(duì)現(xiàn)有的基于屬性學(xué)習(xí)的零樣本圖像分類所存在的不足進(jìn)行改進(jìn)。論文的主要工作包括：
　?。?）傳統(tǒng)的間接屬性預(yù)測(cè)模型（IAP）假設(shè)樣本的屬性之間是相互獨(dú)立的，即每個(gè)參與分類器訓(xùn)練的屬性對(duì)于圖像分類的重要性是相同的。然而在實(shí)際應(yīng)用中，不同的屬性對(duì)于分類的貢獻(xiàn)程度不是完全相同的，因

3、此這種假設(shè)會(huì)在一定程度上降低分類準(zhǔn)確率。為此，提出一種基于關(guān)聯(lián)概率的間接屬性加權(quán)預(yù)測(cè)模型（RP-IAWP）。首先，分析屬性與對(duì)象類別之間存在的相關(guān)關(guān)系；其次，采用關(guān)聯(lián)概率對(duì)屬性與類別之間的相關(guān)性進(jìn)行量化度量；然后，根據(jù)屬性與類別之間的關(guān)聯(lián)概率為每個(gè)屬性賦予相應(yīng)的權(quán)重；最后，將屬性權(quán)重引入傳統(tǒng)的IAP模型中，并進(jìn)一步將其應(yīng)用于零樣本圖像分類。
　?。?）對(duì)于具有相似屬性的類別而言，在有限維度的語(yǔ)義屬性下，基于屬性的零樣本圖像分類器難

4、以對(duì)它們進(jìn)行正確區(qū)分。針對(duì)語(yǔ)義屬性描述類別的有限性，在直接屬性預(yù)測(cè)模型（DAP）的基礎(chǔ)上，提出一種基于混合屬性的直接屬性預(yù)測(cè)模型（HA-DAP）。首先，對(duì)樣本的底層特征進(jìn)行稀疏編碼并利用編碼后的非語(yǔ)義屬性來(lái)輔助現(xiàn)有的語(yǔ)義屬性；然后，將非語(yǔ)義屬性與語(yǔ)義屬性構(gòu)成混合屬性并將其作為DAP模型的屬性中間層，利用直接屬性預(yù)測(cè)模型的思想進(jìn)行混合屬性分類器的訓(xùn)練；最后，根據(jù)預(yù)測(cè)的混合屬性以及屬性與類別之間的關(guān)系進(jìn)行測(cè)試樣本類別標(biāo)簽的預(yù)測(cè)。
　　

5、（3）傳統(tǒng)的基于相對(duì)屬性的零樣本圖像分類算法需要為每個(gè)屬性單獨(dú)訓(xùn)練一個(gè)屬性排序函數(shù)，沒(méi)有考慮屬性與類別之間的關(guān)系。為此，提出一種基于共享特征相對(duì)屬性的零樣本圖像分類算法（RA-SF）。首先，采用多任務(wù)學(xué)習(xí)的思想來(lái)共同學(xué)習(xí)類別分類器和屬性分類器，進(jìn)而得到二者共享的一個(gè)低維特征子空間；然后，利用這些共享特征來(lái)學(xué)習(xí)屬性排序函數(shù)；最后，基于測(cè)試樣本的屬性排序得分，利用最大似然估計(jì)預(yù)測(cè)測(cè)試樣本的類別標(biāo)簽。這種共享特征可以聯(lián)系對(duì)象的類別及其相對(duì)屬性

6、，因此學(xué)習(xí)得到的屬性排序函數(shù)將更加可靠，進(jìn)而能夠有效提高后續(xù)零樣本圖像分類任務(wù)的識(shí)別率。
　　（4）針對(duì)傳統(tǒng)的相對(duì)屬性在解決零樣本圖像分類問(wèn)題時(shí)，存在的模型分布假設(shè)不合理、建模受到人為主觀因素的影響以及分類器性能不佳等多方面的不足，提出一種基于相對(duì)屬性的隨機(jī)森林零樣本圖像分類算法（RF-RA）。首先，通過(guò)自動(dòng)挑選類別之間的相對(duì)屬性關(guān)系來(lái)為每一個(gè)可見類與不可見類的樣本建立屬性排序得分模型；然后，利用所有樣本的屬性排序得分模型來(lái)訓(xùn)練隨

7、機(jī)森林分類器；最后，根據(jù)測(cè)試樣本的屬性排序得分以及訓(xùn)練得到的隨機(jī)森林分類器對(duì)測(cè)試樣本的標(biāo)簽進(jìn)行預(yù)測(cè)。與傳統(tǒng)的基于相對(duì)屬性的零樣本圖像分類算法相比， RF-RA不僅可以避免人工建模所帶來(lái)的不穩(wěn)定性，而且還能降低最大似然估計(jì)方法帶來(lái)的分類誤差，并提高零樣本分類的準(zhǔn)確度。
　　將所提零樣本圖像分類算法應(yīng)用于場(chǎng)景識(shí)別數(shù)據(jù)集（OSR）、公開人臉數(shù)據(jù)集（Pub Fig）、屬性發(fā)現(xiàn)數(shù)據(jù)庫(kù)--鞋類數(shù)據(jù)集（Shoes）以及動(dòng)物數(shù)據(jù)集（AWA），實(shí)驗(yàn)