基于特征選擇技術(shù)的集成學(xué)習(xí)方法及其應(yīng)用研究.pdf

1、學(xué)習(xí)方法的泛化能力是機(jī)器學(xué)習(xí)及其應(yīng)用過(guò)程中所面臨的關(guān)鍵性挑戰(zhàn)問(wèn)題。集成學(xué)習(xí)通過(guò)訓(xùn)練多個(gè)個(gè)體并將其結(jié)果進(jìn)行合成，顯著地提高了學(xué)習(xí)系統(tǒng)的泛化能力，成為近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)重要的研究方向，并被國(guó)際權(quán)威T.GDietterich稱(chēng)為當(dāng)前機(jī)器學(xué)習(xí)四大研究方向之首。設(shè)計(jì)出更有效的集成學(xué)習(xí)實(shí)現(xiàn)方法，以提高集成學(xué)習(xí)的泛化能力，并將集成學(xué)習(xí)應(yīng)用到實(shí)際問(wèn)題領(lǐng)域中取得很好的效果，是集成學(xué)習(xí)研究的熱點(diǎn)問(wèn)題。 特征選擇也是機(jī)器學(xué)習(xí)領(lǐng)域的重要問(wèn)題，特征選

2、擇可以去除冗余特征、無(wú)關(guān)特征、甚至噪聲特征，從而可以得到一個(gè)無(wú)冗余、無(wú)噪聲的樣本集?？梢杂兄谔岣吣Ｊ阶R(shí)別的識(shí)別率，機(jī)器學(xué)習(xí)的精度。一個(gè)特征選擇的過(guò)程在原理上可以看成是一個(gè)組合優(yōu)化過(guò)程，在原有的特征中選擇其中的一部分，使某個(gè)特定的評(píng)價(jià)函數(shù)最優(yōu)。 現(xiàn)在機(jī)器學(xué)習(xí)領(lǐng)域有許多算法與特征選擇密切相關(guān)，比如集成學(xué)習(xí)和多任務(wù)學(xué)習(xí)，如何結(jié)合集成學(xué)習(xí)和特征選擇算法，設(shè)計(jì)出更加有效的集成學(xué)習(xí)實(shí)現(xiàn)方法，提高集成學(xué)習(xí)的泛化能力，是個(gè)很重要的研究方向。

3、 本文在分析集成方法研究現(xiàn)狀的基礎(chǔ)上，運(yùn)用特征選擇算法圍繞提高集成學(xué)習(xí)方法的泛化能力展開(kāi)了深入的研究，提出了更有效的集成學(xué)習(xí)方法，提高了集成學(xué)習(xí)的精度并且研究了新算法在實(shí)際數(shù)據(jù)上的應(yīng)用。 特征選擇后，一些沒(méi)有選中的特征可能就不再進(jìn)入學(xué)習(xí)器，如何利用這些特征提高學(xué)習(xí)器的精度是一個(gè)重用的問(wèn)題。本文將已經(jīng)提出的多任務(wù)學(xué)習(xí)技術(shù)，應(yīng)用到集成學(xué)習(xí)當(dāng)中，取得了很好的效果。 本文的主要工作和創(chuàng)新點(diǎn)如下： (1)研究了集成學(xué)

4、習(xí)中個(gè)體的特征選擇的問(wèn)題。首先對(duì)每個(gè)個(gè)體的訓(xùn)練數(shù)據(jù)集進(jìn)行特征選擇，降低了數(shù)據(jù)集的規(guī)模，減少了無(wú)效特征和冗余特征的干擾。提出了基于預(yù)報(bào)風(fēng)險(xiǎn)的嵌入式特征選擇算法的集成學(xué)習(xí)方法PRIFEB(PredictionRIsk based Feature sElection for Bagging)和基于互信息特征選擇算法的集成學(xué)習(xí)算法MIFEB(Mutual Information based Feature sElection for Baggi

5、ng)。并作了相應(yīng)的對(duì)比實(shí)驗(yàn)，結(jié)果表明這兩種新算法提高了集成學(xué)習(xí)的泛化能力。 (2)研究了數(shù)據(jù)集在經(jīng)過(guò)特征選擇之后冗余的信息如何被重用的問(wèn)題，并將多任務(wù)學(xué)習(xí)的概念推廣到集成學(xué)習(xí)中。充分利用經(jīng)過(guò)特征選擇之后被刪除的冗余特征的信息，提出了基于預(yù)報(bào)風(fēng)險(xiǎn)的多任務(wù)學(xué)習(xí)算法H-MTL(HeuristicMulti-Task Learning)、基于遺傳算法的多任務(wù)學(xué)習(xí)算法GA-MTL (Genetic Algorithm based Mul

6、ti-Task Leaming)和基于遺傳算法的集成多任務(wù)學(xué)習(xí)算法GA-ENMTL(Genetic Algorithm based Ensemble Multi-Task Learning)，實(shí)驗(yàn)表明這些算法充分利用了經(jīng)過(guò)特征選擇之后被刪除的冗余特征信息，提高了集成學(xué)習(xí)的泛化能力。 (3)研究了集成學(xué)習(xí)中的個(gè)體選擇問(wèn)題。利用特征選擇算法進(jìn)行集成個(gè)體的選擇，選擇出個(gè)體差異度大的個(gè)體用于集成。提出了基于互信息算法的選擇性集成學(xué)習(xí)算

7、法MISEN(Mutual Information based Selective Ensemble)，實(shí)驗(yàn)表明該算法提高了集成學(xué)習(xí)的效果，同時(shí)提高了選擇個(gè)體的效率。 (4)研究了基于特征選擇的半監(jiān)督學(xué)習(xí)問(wèn)題。通過(guò)運(yùn)用特征選擇算法去除數(shù)據(jù)的無(wú)效特征和冗余特征，提出了基于預(yù)報(bào)風(fēng)險(xiǎn)的嵌入式特征選擇算法的Co-Training半監(jiān)督學(xué)習(xí)算法FESCOT(Feature Selection Co-Training)。實(shí)驗(yàn)表明新算法可以有