樹型混合學習模型及其應用研究.pdf

1、近年來，同時具有符號模型(如決策樹)的可理解性及非符號模型(如神經(jīng)網(wǎng)絡)可在線學習的混合學習模型逐漸成為模式識別與理解領域的一個熱門課題，它在生物醫(yī)學、信息安全、故障診斷、面部表情分析等領域均顯示了十分誘人的應用前景。本論文基于神經(jīng)網(wǎng)絡樹和支撐向量機樹，系統(tǒng)地研究了基于分而治之思想的樹型混合學習模型的理論方法及應用，內(nèi)容包括： 1．針對連續(xù)特征輸入情況提出一種基于特征自組織學習的神經(jīng)網(wǎng)絡樹模型。在二值輸入情況下，盡管每個專家神經(jīng)

2、網(wǎng)絡的輸入特征數(shù)很小，對連續(xù)特征問題的學習結果仍是難以解釋的。為此，提出了一種基于特征自組織學習的神經(jīng)網(wǎng)絡樹，并以UCI機器學習數(shù)據(jù)庫中含連續(xù)特征的樣本集為例驗證模型的性能，實驗結果表明提出的模型能夠在保持識別精確率和不增加模型結構復雜度的同時，降低學習結果解釋的空間復雜度。 2．將基于特征自組織學習的神經(jīng)網(wǎng)絡樹應用到入侵檢測問題中。構建在KDD據(jù)庫上的基于特征自組織學習的神經(jīng)網(wǎng)絡樹模型獲得了令人滿意的訓練和測試識別精確率，并從

3、模型的學習結果中了解到對檢測結果具有決定性影響的特征的信息。 3．提出了一種基于混淆交叉的支撐向量機樹學習模型(CSVMT)。首先針對復雜模式二分類問題，結合樹型結構分而治之的思想，以混淆交叉因子控制相鄰子節(jié)點間樣例的交叉，構建二分類CSVMT模型；針對多分類問題，以啟發(fā)式的方法產(chǎn)生教師信號，將二分類CSVMI、擴展為多分類CSVMT。以雙螺旋復雜二分類問題和UCI機器學習庫中的多分類數(shù)據(jù)集作為仿真數(shù)據(jù)驗證CSVMT模型的性能，

4、結果說明CSVMT具有優(yōu)良的泛化性能和較高的測試識別精確率。 4．提出了基于有監(jiān)督局部線性嵌入的支撐向量機樹模型(SLLE-CSVMT)。為了解決高維特征空間中，每個中間節(jié)點學習結果可能包含冗余信息的問題，充分運用數(shù)據(jù)的類別信息，以及數(shù)據(jù)點之間的和各特征維之間的相互關系，本文分別采用兩種訓練方法實現(xiàn)基于有監(jiān)督局部線性嵌入的支撐向量機樹模型的構建。最后以UCI機器學習數(shù)據(jù)庫中的optdigits樣本集為例驗證和分析了模型的結構和分

5、類性能，實驗表明SLLE-CSVMT學習方法能夠在遠低于原始特征維數(shù)的嵌入坐標空間中構建結構精簡、識別性能優(yōu)良的模型。 5．針對SLLE-CSVMT模型對測試樣本有較高的計算量和存儲量要求的情況，提出了基于特征選擇的支撐向量機樹模型(FS-CSVMT)。實驗結果表明，F(xiàn)S-CSVMT模型能夠在保證識別精確率的同時，獲得一個復雜度較低的模型結構；與SLLE-CSVMT模型相比，在模型的結構和特征維數(shù)上，SLLE-CSVMT模型更為

6、精簡，并具有較低的嵌入維數(shù)，而在訓練和測試的效率上FS-CSVMT更具優(yōu)越性。6．將CSVMT、SLLE-CSVMT、FS-CSVMT應用到面部表情自動識別問題中。在數(shù)據(jù)預處理部分，我們研究了基于小波反卷積提高圖像分辨率的方法，以及基于免疫算法的圖像增強方法。以卡內(nèi)基梅隆大學的Cohn-Kanade面部表情數(shù)據(jù)庫為實驗數(shù)據(jù)，結合偽Zernike矩的特征抽取方法，運用本文提出的三類學習模型實現(xiàn)面部表情自動識別，該方法與同類方法相比在識別精