基于過抽樣技術(shù)的不平衡數(shù)據(jù)分類研究.pdf

1、在數(shù)據(jù)挖掘領(lǐng)域中，分類技術(shù)根據(jù)數(shù)據(jù)集中的數(shù)據(jù)訓(xùn)練出一個分類函數(shù)或構(gòu)建出一個分類模型，對未知實例的類標(biāo)號進行預(yù)測。在不平衡數(shù)據(jù)分類研究中，由于不平衡數(shù)據(jù)集中小類樣本數(shù)量少，小類樣本難以被正確分類，因此，提高小類樣本的分類準(zhǔn)確率至關(guān)重要。目前，針對不平衡數(shù)據(jù)分類的技術(shù)有兩種，一種是數(shù)據(jù)層面的方法，另一種是算法層面的方法。前者主要在分類之前對原始訓(xùn)練集進行預(yù)處理，包括過抽樣技術(shù)和欠抽樣技術(shù)。后者主要提出針對不平衡數(shù)據(jù)特點的新的算法或改進現(xiàn)有的

2、算法以適應(yīng)數(shù)據(jù)的不平衡。為了提高不平衡數(shù)據(jù)中小類樣本的分類準(zhǔn)確率，本文主要在數(shù)據(jù)層面的過抽樣技術(shù)上做了以下三個研究。
　　第一，將聚類技術(shù)與過抽樣技術(shù)相結(jié)合，提出一種基于聚類的過抽樣算法ClusteredSMOTE_Boost。該算法利用聚類技術(shù)，首先將數(shù)據(jù)集的小類樣本分為邊界樣本和非邊界樣本，其次將所有小類樣本分為若干個簇。針對小類邊界樣本合成新樣本時，使新樣本更靠近小類樣本內(nèi)部。針對小類非邊界樣本合成新樣本時，使新樣本更靠近非

3、邊界樣本所在簇的中心。實驗結(jié)果表明該算法能夠有效地提高小類樣本的分類準(zhǔn)確率。
　　第二，為了使原始訓(xùn)練集的決策邊界不復(fù)雜，提出一種基于小類內(nèi)部樣本的過抽樣算法GR-InsideOS。該算法僅讓小類內(nèi)部樣本參與合成，使得新樣本位于小類樣本內(nèi)部，不使分類邊界復(fù)雜化。在此基礎(chǔ)上提出基于聚類的小類內(nèi)部過抽樣算法CGR-InsideOS，利用聚類技術(shù)使新樣本靠近小類內(nèi)部樣本所在簇的中心，更加保證了原始訓(xùn)練集的決策邊界不復(fù)雜。實驗結(jié)果表明這兩

4、個算法均有效地提高了小類樣本的分類性能。
　　第三，將基于內(nèi)部樣本的過抽樣算法與多次學(xué)習(xí)技術(shù)相結(jié)合，提出兩種基于小類內(nèi)部樣本過抽樣的多次學(xué)習(xí)算法IRML和IKCML。兩個算法均是從原始訓(xùn)練集中選取一些樣本組成K個子訓(xùn)練集，然后分別對子訓(xùn)練集采用GR-InsideOS算法合成新樣本，生成K個新的子訓(xùn)練集，建立K個分類器。IRML是采用隨機的方式在原始訓(xùn)練集中選取樣本，而IKCML算法是采用K折交叉方法有放回的選取樣本。后者保證了每個