基于梯度提升模型的負(fù)相關(guān)學(xué)習(xí)算法的研究與應(yīng)用.pdf

1、論文的第一個(gè)工作是關(guān)于集成學(xué)習(xí)的研究。在機(jī)器學(xué)習(xí)領(lǐng)域，我們把具備從經(jīng)驗(yàn)知識(shí)中學(xué)習(xí)能力的系統(tǒng)或者模型叫做學(xué)習(xí)器。一般來(lái)說(shuō)訓(xùn)練出一個(gè)學(xué)習(xí)能力較弱的模型比訓(xùn)練出一個(gè)學(xué)習(xí)能力較強(qiáng)的模型所要耗費(fèi)的代價(jià)小得多。集成學(xué)習(xí)是一類特殊的機(jī)器學(xué)習(xí)方法，其思想是不直接訓(xùn)練一個(gè)強(qiáng)學(xué)習(xí)器，而是通過(guò)組合一批弱學(xué)習(xí)器來(lái)得到一個(gè)學(xué)習(xí)能力強(qiáng)的集成學(xué)習(xí)器。集成學(xué)習(xí)算法性能好壞主要取決于兩個(gè)因素:基學(xué)習(xí)器自身的性能好壞以及基學(xué)習(xí)器之間的差異性。目前常用的集成學(xué)習(xí)算法包括Ba

2、gging、Boosting等，在提升每個(gè)基學(xué)習(xí)器性能的同時(shí)，其實(shí)也是在以一種隱性的方式維持了基學(xué)習(xí)器之間的差異性，從而使得最終的集成學(xué)習(xí)器的性能達(dá)到最佳。負(fù)相關(guān)學(xué)習(xí)(Negative correlationlearning，NCL)是一種常用于神經(jīng)網(wǎng)絡(luò)集成的集成學(xué)習(xí)算法，它是把基學(xué)習(xí)器之間的差異性作為一個(gè)顯性的度量標(biāo)準(zhǔn)引入到神經(jīng)網(wǎng)絡(luò)的損失函數(shù)中去，進(jìn)而影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。通過(guò)調(diào)整影響影子可以權(quán)衡基神經(jīng)網(wǎng)絡(luò)之間的性能與多樣性，以謀求獲得

3、一個(gè)性能最優(yōu)的集成神經(jīng)網(wǎng)絡(luò)模型。
　　我們借鑒NCL的思路，提出了一種新的集成學(xué)習(xí)算法。NCL最早提出是使用神經(jīng)網(wǎng)絡(luò)作為基學(xué)習(xí)器，而且目前有關(guān)NCL的研究大多數(shù)還是采用神經(jīng)網(wǎng)絡(luò)作為基學(xué)習(xí)模型，主要原因是神經(jīng)網(wǎng)絡(luò)具有一個(gè)顯性的損失函數(shù)，而且訓(xùn)練神經(jīng)網(wǎng)絡(luò)的BP算法是一種采用梯度下降方法來(lái)最小化該損失函數(shù)的優(yōu)化算法。我們比較了神經(jīng)網(wǎng)絡(luò)與另外一種常用的學(xué)習(xí)模型:梯度提升模型(gradientboosting machine，GBM)之間的

4、相似性，提出可以用GBM代替神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)踐負(fù)相關(guān)學(xué)習(xí)的思想，設(shè)計(jì)出一種新的集成學(xué)習(xí)算法:GB-NCL。論文給出了GB-NCL算法的設(shè)計(jì)思路以及詳細(xì)的步驟，并且通過(guò)實(shí)驗(yàn)比較了GB-NCL與原始基于神經(jīng)網(wǎng)絡(luò)的NCL算法以及梯度提升算法的分類性能。實(shí)驗(yàn)結(jié)果表明GB-NCL算法相比于這兩種算法，擁有更好的性能。
　　論文的第二個(gè)工作是基于GB-NCL算法設(shè)計(jì)并實(shí)現(xiàn)了一種新的用于解決高光譜遙感圖像分類問(wèn)題的分類算法:RCASSL。高光譜遙感

5、圖像分類的特點(diǎn)是標(biāo)記樣本少，未標(biāo)記的樣本多，而且人工標(biāo)記遙感圖像的像素點(diǎn)屬于什么地物類別的成本比較大。前人的做法主要有兩種:第一種，利用主動(dòng)學(xué)習(xí)算法，從大量未標(biāo)記樣本中挑選出最值得標(biāo)記的像素點(diǎn)讓人類專家來(lái)標(biāo)記其所屬的地物類別。這種方法的特點(diǎn)是新增訓(xùn)練樣本的質(zhì)量高（類標(biāo)號(hào)百分百正確），但是數(shù)量少。第二種，利用半監(jiān)督學(xué)習(xí)算法，用已訓(xùn)練出來(lái)的分類器賦予一些未標(biāo)記樣本類標(biāo)號(hào)，并將其視為真實(shí)可用的樣本，添加到訓(xùn)練集中，我們稱之為“偽標(biāo)記”樣本。這

6、類算法可以大大提高訓(xùn)練樣本數(shù)量但是無(wú)法保證新增的偽標(biāo)記樣本的類標(biāo)號(hào)一定正確。數(shù)量多，質(zhì)量不好，這是半監(jiān)督學(xué)習(xí)算法的特點(diǎn)。
　　我們提出不妨將主動(dòng)學(xué)習(xí)與半監(jiān)督學(xué)習(xí)結(jié)合，并且引入一套“偽”標(biāo)記樣本驗(yàn)證的機(jī)制，對(duì)通過(guò)半監(jiān)督學(xué)習(xí)引入進(jìn)來(lái)的偽標(biāo)記樣本進(jìn)行校驗(yàn)，將不合格的偽標(biāo)記樣本剔除出去，從而既能夠獲得足夠多的訓(xùn)練樣本，又能夠保證訓(xùn)練樣本集的質(zhì)量。擁有了更大更完備的訓(xùn)練集，訓(xùn)練出來(lái)的分類器也就自然會(huì)有更佳的性能。根據(jù)這種想法我們?cè)谡撐闹嗅槍?duì)

7、高光譜遙感分類設(shè)計(jì)了RCASSL算法。RCASSL在訓(xùn)練分類器的時(shí)候不僅采用帶標(biāo)記的樣本，而且使用半監(jiān)督學(xué)習(xí)引入的偽標(biāo)記樣本。我們采用GB-NCL算法校驗(yàn)半監(jiān)督學(xué)習(xí)方法引入的偽標(biāo)記樣本，提升偽標(biāo)記樣本集的質(zhì)量。我們?cè)诟吖庾V遙感數(shù)數(shù)據(jù)集上對(duì)比了RCASSL算法、MCLU-ECBD算法以及RCASSL-NoPLV算法。MCLU-ECBD算法是一種常用的主動(dòng)學(xué)習(xí)算法。RCASSL-NoPLV算法是去除掉偽標(biāo)記樣驗(yàn)證環(huán)節(jié)的RCASSL算法。實(shí)驗(yàn)