基于集成學(xué)習(xí)的特征選擇及穩(wěn)定性分析.pdf

1、隨著信息技術(shù)的迅速發(fā)展，生物信息學(xué)、圖像處理、文本挖掘等許多領(lǐng)域中研究對象的數(shù)據(jù)描述越來越趨向于高維，給數(shù)據(jù)挖掘造成了“維數(shù)災(zāi)難”。針對這個(gè)問題，出現(xiàn)了數(shù)據(jù)降維的研究。而特征選擇作為數(shù)據(jù)降維的方法之一，因簡單、直觀、有效而應(yīng)用廣泛。特征選擇可以去除冗余特征、無關(guān)特征、甚至噪聲特征，從而得到一個(gè)近乎無冗余、無噪聲的樣本集。研究證明，特征選擇不僅能顯著提高訓(xùn)練分類模型的效率，還能提高分類模型的性能。因此在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、模式識別等相關(guān)領(lǐng)

2、域中，特征選擇成為了數(shù)據(jù)預(yù)處理中非常重要的一步，是監(jiān)督學(xué)習(xí)算法的一個(gè)重要組成步驟。
　　 和學(xué)習(xí)方法一樣，特征選擇也存在泛化能力的問題。穩(wěn)定性就是該問題的具體體現(xiàn)：同一個(gè)特征選擇算法在同一個(gè)樣本集的不同訓(xùn)練數(shù)據(jù)集上得到的最優(yōu)特征子集是不同的，即算法的輸出隨著訓(xùn)練數(shù)據(jù)集的變化而變化，是不穩(wěn)定的。而在機(jī)器學(xué)習(xí)領(lǐng)域有許多算法與特征選擇算法密切相關(guān)，比如集成學(xué)習(xí)和多任務(wù)學(xué)習(xí)。集成學(xué)習(xí)通過訓(xùn)練多個(gè)個(gè)體學(xué)習(xí)器并將其結(jié)果進(jìn)行合成，顯著地提高了

3、學(xué)習(xí)系統(tǒng)的泛化能力。將集成學(xué)習(xí)運(yùn)用到特征選擇算法中，能較好地解決其穩(wěn)定性問題，成為近年來的一個(gè)研究方向。
　　 本文首先介紹特征選擇算法及其基本過程，從“特征子集生成”、“特征子集評價(jià)”以及“特征選擇與學(xué)習(xí)算法的結(jié)合方式”三個(gè)不同的角度對特征選擇算法進(jìn)行分類。接著分析集成方法的研究現(xiàn)狀及高維小樣本數(shù)據(jù)集的特征選擇的穩(wěn)定性問題。然后介紹一些常見的特征選擇算法及其集成學(xué)習(xí)模型。基于選擇性集成的思想，Zhang Li提出了一種利用集成