基于粗糙集屬性約簡的集成分類算法研究.pdf

1、自動文本分類技術(shù)的主要任務(wù)是將非結(jié)構(gòu)化的文本數(shù)據(jù)劃分到相應(yīng)的分類體系中。文本分類有著廣泛的應(yīng)用，例如新聞門戶網(wǎng)站中的新聞自動分類、個性化廣告推薦、垃圾郵件過濾、數(shù)字圖書館資源管理等。集成學(xué)習(xí)是機(jī)器學(xué)習(xí)的主要研究方向之一，其思想是使用多個子分類器對樣本進(jìn)行分類，并使用某種組合方式將各個子分類器的分類結(jié)果進(jìn)行整合，得到最終的分類結(jié)果。相比單分類算法，集成學(xué)習(xí)具有更高的分類準(zhǔn)確率和泛化能力。本文將集成學(xué)習(xí)運(yùn)用到文本分類中，研究了文本自動分類和

2、集成學(xué)習(xí)的相關(guān)理論，對文本分類和集成學(xué)習(xí)的關(guān)鍵技術(shù)進(jìn)行了詳細(xì)介紹。提出了一種適用于高維數(shù)據(jù)的特征選擇方法和兩種改進(jìn)的集成分類算法。具體來說，本文做了以下幾方面的工作：
　　1、在將文本轉(zhuǎn)換為向量空間模型后，將會得到一個高維稀疏矩陣。對數(shù)據(jù)進(jìn)行降維時，單獨(dú)使用信息增益或粗糙集屬性約簡的方法均有一些不足。本文將兩種方法進(jìn)行結(jié)合，提出一種基于粗糙集的二次特征選擇方法，該方法可以發(fā)揮兩種特征選擇方法的優(yōu)勢，最大限度過濾冗余特征。
　

3、　2、提出了RRE_Classifers集成分類算法。該算法借鑒了Bagging和隨機(jī)森林的思想，首先對原始訓(xùn)練集樣本進(jìn)行有放回的抽樣，將得到的結(jié)果進(jìn)行特征抽樣，產(chǎn)生最終的訓(xùn)練集。由此訓(xùn)練差異性較大的子分類器，相比于Bagging，該算法可以使用更多的有差異性的子分類器，并且分類效果更好。
　　3、提出了EBB_Classififers集成分類算法。該算法維護(hù)一個錯誤池，錯誤池中存放之前的子分類器錯誤分類的樣本，之后隨機(jī)將這些錯分