基于集成學習的非平衡數(shù)據(jù)集分類問題的研究.pdf

1、非平衡數(shù)據(jù)集分類是近年來機器學習和模式識別領(lǐng)域研究的熱點問題之一。在實際應(yīng)用中這種非平衡數(shù)據(jù)分類問題很常見，如衛(wèi)星圖像檢測油井噴發(fā)、罕見病例的醫(yī)療診斷、網(wǎng)絡(luò)入侵檢測、交易欺詐識別、惡意欠費識別等。因此，提高分類器在非平衡數(shù)據(jù)集上的分類性能和泛化能力具有重要價值和現(xiàn)實意義。
　　由于非平衡數(shù)據(jù)集中類別數(shù)量上的嚴重傾斜和分布不均衡，基于傳統(tǒng)的分類算法不太適合直接用來處理非平衡數(shù)據(jù)集。因此，人們在數(shù)據(jù)層面通過改變類分布狀況和在算法層面通

2、過改進算法提高分類性能兩個角度進行改進，雖然分類性能得到了改進，但是正類的分類精度仍普遍較低。當前采用集成學習的方式對非平衡數(shù)據(jù)集進行研究，已經(jīng)取得一定的成效，但是分類性能有待進一步提高。
　　為解決上述問題，本文主要做了以下研究工作：
　　受“最富信息”策略的啟發(fā)，重點從關(guān)注錯分的正類樣本入手從數(shù)據(jù)層面和算法層面相結(jié)合的角度提出了集成學習改進方案一和方案二。
　　其中方案一針對類別非平衡數(shù)據(jù)的分布特點先運用KSMOT

3、E重抽樣技術(shù)在特征空間中合成一定量的正類樣本，在改善原始數(shù)據(jù)集的傾斜狀況的基礎(chǔ)上，采用上抽樣KSMOTE和下抽樣Bootstrap相結(jié)合的方式構(gòu)建相對平衡的訓練集。根據(jù)分類代價的不同分別賦予正負類樣本不同的權(quán)值，然后在AdaBoost集成框架下以 SVM作為弱分類器進行集成訓練，從而達到更好的分類效果與泛化能力。通過在15個UCI數(shù)據(jù)集上將所提出的方案一與AdaBoostMI和ENSVM算法進行對比實驗，證實了所提出的方案一在分類性能上

4、優(yōu)于AdaBoostMI和ENSVM。
　　方案二則是以AdaBoost為主要框架，利用重抽樣技術(shù)KSMOTE在特征空間合成分類困難的正類樣本，根據(jù)分類代價的不同分別初始化正負類樣本不同的權(quán)值，然后以SVM為弱分類器進行集成學習。在訓練的過程中是在訓練樣本集的基礎(chǔ)上應(yīng)用KSMOTE重抽樣技術(shù)在特征空間合成分類困難的正類樣本集，而不是在訓練初期應(yīng)用KSMOTE改變原始非平衡數(shù)據(jù)集，而且通過在訓練過程中每次循環(huán)時將前一步的誤分類樣本參