基于神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法研究.pdf

1、傳統(tǒng)監(jiān)督學(xué)習(xí)方法需要利用大量有標(biāo)記的樣本進(jìn)行學(xué)習(xí)。然而在實(shí)際應(yīng)用中，標(biāo)記樣本的采集和整理工作費(fèi)時(shí)費(fèi)力，標(biāo)記樣本不足已經(jīng)成為制約監(jiān)督學(xué)習(xí)方法的瓶頸之一。無監(jiān)督學(xué)習(xí)雖然不需要標(biāo)記樣本，但是缺乏先驗(yàn)知識(shí)的有效引導(dǎo)，模型的準(zhǔn)確性難以保證。半監(jiān)督學(xué)習(xí)(semi-supervised learning)正是近年來涌現(xiàn)出的一種綜合利用標(biāo)記樣本和未標(biāo)記樣本進(jìn)行學(xué)習(xí)的理論。目前，半監(jiān)督學(xué)習(xí)理論尚處于發(fā)展階段，在結(jié)構(gòu)自適應(yīng)調(diào)節(jié)、增量式訓(xùn)練和提升標(biāo)記樣本序列

2、的利用效率等方面仍有待完善。為解決上述問題，本文提出幾種基于神經(jīng)網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)方法，力圖借助神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)動(dòng)態(tài)調(diào)整、可逆學(xué)習(xí)以及知識(shí)提取與整合等方面的優(yōu)勢(shì)提高半監(jiān)督學(xué)習(xí)方法的性能。本文的研究可概括為以下三個(gè)方面：
　　 1)提出半監(jiān)督貝葉斯ARTMAP(SSBA)網(wǎng)絡(luò)，SSBA實(shí)現(xiàn)了Bayesian ARTMAP網(wǎng)絡(luò)與EM算法之間的優(yōu)勢(shì)互補(bǔ)。SSBA采用BayesianARTMAP的學(xué)習(xí)框架，具有根據(jù)標(biāo)記樣本和未標(biāo)記樣本的分布

3、狀況自適應(yīng)生成網(wǎng)絡(luò)節(jié)點(diǎn)的能力，可以克服EM算法必須預(yù)先設(shè)定高斯成分?jǐn)?shù)目的局限。另一方面，SSBA利用EM算法調(diào)節(jié)網(wǎng)絡(luò)參數(shù)避免了“勝者為王”（即每次只更新獲勝節(jié)點(diǎn)參數(shù)）的硬性調(diào)整方式，使得網(wǎng)絡(luò)能夠更加充分地考慮到未標(biāo)記樣本類別歸屬的不確定性，進(jìn)而可以有效學(xué)習(xí)未標(biāo)記樣本中的類別特征信息。仿真實(shí)驗(yàn)表明，SSBA的泛化能力明顯優(yōu)于Bayesian ARTMAP網(wǎng)絡(luò)和EM算法，是性能可靠的靜態(tài)半監(jiān)督學(xué)習(xí)方法。
　　 2)提出一種增量式半監(jiān)

4、督學(xué)習(xí)方法，命名為三重可逆極端學(xué)習(xí)機(jī)(TRELM)。當(dāng)前多數(shù)半監(jiān)督學(xué)習(xí)方法均為靜態(tài)訓(xùn)練模式，它們的共同特征是重復(fù)訓(xùn)練，即算法需要重復(fù)學(xué)習(xí)所有的標(biāo)記樣本和未標(biāo)記樣本多次才能保證精度要求。重復(fù)訓(xùn)練導(dǎo)致運(yùn)算量巨大、半監(jiān)督學(xué)習(xí)速度緩慢等問題。本文提出的，IRELM將三個(gè)可逆極端學(xué)習(xí)機(jī)作為其內(nèi)部的基學(xué)習(xí)器，它只需要利用新擴(kuò)充的樣本和新檢測(cè)出的無效記樣本即可完成半監(jiān)督訓(xùn)練任務(wù)，有效避免了重復(fù)訓(xùn)練帶來的不利影響。仿真實(shí)驗(yàn)表明TRELM可以降低半監(jiān)督學(xué)

5、習(xí)過程中的重復(fù)性運(yùn)算并且顯著提升半監(jiān)督學(xué)習(xí)的泛化成績(jī)和訓(xùn)練速度。
　　 3)提出一種廣義半監(jiān)督學(xué)習(xí)系統(tǒng)一基于ARTMAP網(wǎng)絡(luò)的范例推理(CBR)分類系統(tǒng)，并將其應(yīng)用于遙感圖像序列的分類問題。多數(shù)半監(jiān)督學(xué)習(xí)方法僅著眼于學(xué)習(xí)同一時(shí)刻的標(biāo)記樣本和未標(biāo)記樣本，缺乏對(duì)以前獲取的樣本序列的挖掘和整合。本文所提分類系統(tǒng)將ARTMAP網(wǎng)絡(luò)作為知識(shí)的提取器，并按照CBR框架進(jìn)行知識(shí)的管理操作，可實(shí)現(xiàn)遙感樣本數(shù)據(jù)的合理儲(chǔ)備、優(yōu)化組合和重復(fù)利用；在一