樹型混合學(xué)習(xí)模型及其應(yīng)用研究.pdf

1、近年來，同時(shí)具有符號(hào)模型(如決策樹)的可理解性及非符號(hào)模型(如神經(jīng)網(wǎng)絡(luò))可在線學(xué)習(xí)的混合學(xué)習(xí)模型逐漸成為模式識(shí)別與理解領(lǐng)域的一個(gè)熱門課題，它在生物醫(yī)學(xué)、信息安全、故障診斷、面部表情分析等領(lǐng)域均顯示了十分誘人的應(yīng)用前景。本論文基于神經(jīng)網(wǎng)絡(luò)樹和支撐向量機(jī)樹，系統(tǒng)地研究了基于分而治之思想的樹型混合學(xué)習(xí)模型的理論方法及應(yīng)用，內(nèi)容包括： 1．針對連續(xù)特征輸入情況提出一種基于特征自組織學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樹模型。在二值輸入情況下，盡管每個(gè)專家神經(jīng)

2、網(wǎng)絡(luò)的輸入特征數(shù)很小，對連續(xù)特征問題的學(xué)習(xí)結(jié)果仍是難以解釋的。為此，提出了一種基于特征自組織學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樹，并以UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中含連續(xù)特征的樣本集為例驗(yàn)證模型的性能，實(shí)驗(yàn)結(jié)果表明提出的模型能夠在保持識(shí)別精確率和不增加模型結(jié)構(gòu)復(fù)雜度的同時(shí)，降低學(xué)習(xí)結(jié)果解釋的空間復(fù)雜度。 2．將基于特征自組織學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樹應(yīng)用到入侵檢測問題中。構(gòu)建在KDD據(jù)庫上的基于特征自組織學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)樹模型獲得了令人滿意的訓(xùn)練和測試識(shí)別精確率，并從

3、模型的學(xué)習(xí)結(jié)果中了解到對檢測結(jié)果具有決定性影響的特征的信息。 3．提出了一種基于混淆交叉的支撐向量機(jī)樹學(xué)習(xí)模型(CSVMT)。首先針對復(fù)雜模式二分類問題，結(jié)合樹型結(jié)構(gòu)分而治之的思想，以混淆交叉因子控制相鄰子節(jié)點(diǎn)間樣例的交叉，構(gòu)建二分類CSVMT模型；針對多分類問題，以啟發(fā)式的方法產(chǎn)生教師信號(hào)，將二分類CSVMI、擴(kuò)展為多分類CSVMT。以雙螺旋復(fù)雜二分類問題和UCI機(jī)器學(xué)習(xí)庫中的多分類數(shù)據(jù)集作為仿真數(shù)據(jù)驗(yàn)證CSVMT模型的性能，

4、結(jié)果說明CSVMT具有優(yōu)良的泛化性能和較高的測試識(shí)別精確率。 4．提出了基于有監(jiān)督局部線性嵌入的支撐向量機(jī)樹模型(SLLE-CSVMT)。為了解決高維特征空間中，每個(gè)中間節(jié)點(diǎn)學(xué)習(xí)結(jié)果可能包含冗余信息的問題，充分運(yùn)用數(shù)據(jù)的類別信息，以及數(shù)據(jù)點(diǎn)之間的和各特征維之間的相互關(guān)系，本文分別采用兩種訓(xùn)練方法實(shí)現(xiàn)基于有監(jiān)督局部線性嵌入的支撐向量機(jī)樹模型的構(gòu)建。最后以UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中的optdigits樣本集為例驗(yàn)證和分析了模型的結(jié)構(gòu)和分

5、類性能，實(shí)驗(yàn)表明SLLE-CSVMT學(xué)習(xí)方法能夠在遠(yuǎn)低于原始特征維數(shù)的嵌入坐標(biāo)空間中構(gòu)建結(jié)構(gòu)精簡、識(shí)別性能優(yōu)良的模型。 5．針對SLLE-CSVMT模型對測試樣本有較高的計(jì)算量和存儲(chǔ)量要求的情況，提出了基于特征選擇的支撐向量機(jī)樹模型(FS-CSVMT)。實(shí)驗(yàn)結(jié)果表明，F(xiàn)S-CSVMT模型能夠在保證識(shí)別精確率的同時(shí)，獲得一個(gè)復(fù)雜度較低的模型結(jié)構(gòu)；與SLLE-CSVMT模型相比，在模型的結(jié)構(gòu)和特征維數(shù)上，SLLE-CSVMT模型更為

6、精簡，并具有較低的嵌入維數(shù)，而在訓(xùn)練和測試的效率上FS-CSVMT更具優(yōu)越性。6．將CSVMT、SLLE-CSVMT、FS-CSVMT應(yīng)用到面部表情自動(dòng)識(shí)別問題中。在數(shù)據(jù)預(yù)處理部分，我們研究了基于小波反卷積提高圖像分辨率的方法，以及基于免疫算法的圖像增強(qiáng)方法。以卡內(nèi)基梅隆大學(xué)的Cohn-Kanade面部表情數(shù)據(jù)庫為實(shí)驗(yàn)數(shù)據(jù)，結(jié)合偽Zernike矩的特征抽取方法，運(yùn)用本文提出的三類學(xué)習(xí)模型實(shí)現(xiàn)面部表情自動(dòng)識(shí)別，該方法與同類方法相比在識(shí)別精