基于不平衡數(shù)據(jù)集的數(shù)據(jù)挖掘分類算法研究.pdf

1、21世紀是一個高度信息化的時代，數(shù)據(jù)作為載體隱藏著大量可以挖掘的有用信息，如何處理數(shù)據(jù)和提取有價值的信息已成為迫在眉睫的問題。分類是數(shù)據(jù)挖掘領域的重要研究分支，是數(shù)據(jù)分析的一種重要形式。在實際生活中，重要的有研究價值的往往是那些數(shù)量稀少的數(shù)據(jù)類，簡稱不平衡數(shù)據(jù)集。那么如何在不平衡數(shù)據(jù)集中，有效的提取少數(shù)類數(shù)據(jù)集，將是本文研究的重點。
　　主要研究內容如下：
　　（1）針對不平衡數(shù)據(jù)集中正類分類準確率不高的問題，提出了一種集成

2、C4.5和改進樸素貝葉斯（C4.5-INB）算法。首先通過對多數(shù)類概率乘以比例系數(shù)得到改進樸素貝葉斯分類結果，再利用C4.5算法對原數(shù)據(jù)分類。根據(jù)兩種分類結果通過等權法或最優(yōu)搭配器優(yōu)先法確定這兩種基分類算法的權值，最后根據(jù)平均表決法得到新的分類結果。利用UCI數(shù)據(jù)集對三種算法進行分類驗證，結果表明提出的算法分類效果更準確，穩(wěn)定性更好。
　?。?）針對不平衡數(shù)據(jù)集在分類過程中易產生噪聲數(shù)據(jù)和分類精度低的問題，提出了一種基于改進SMO

3、TE的不平衡數(shù)據(jù)集主動學習SVM分類算法。該算法對訓練樣本集利用少數(shù)類樣本的歸屬值通過多數(shù)票選擇法控制合成少數(shù)類樣本的數(shù)量，以距離公式為衡量標準劃分超平面，在分類超平面兩側選擇最近距離的等量對稱的多數(shù)類樣本，組成平衡采樣數(shù)據(jù)集，利用支持向量機（SVM）進行分類得到優(yōu)化分類器，再用主動學習對去除了訓練樣本的不平衡數(shù)據(jù)集利用優(yōu)化分類器進行分類循環(huán)，直到剩余樣本為零。利用UCI數(shù)據(jù)集中的數(shù)據(jù)實驗表明，提出的算法有效地減少了噪聲數(shù)據(jù)對分類的影響

4、，并有效改善了不平衡數(shù)據(jù)集的分類精度。
　　（3）針對高維不平衡數(shù)據(jù)集分類性能較差的問題，提出了一種改進非監(jiān)督線性差分投影（I-ULDP）高維不平衡數(shù)據(jù)集分類算法。算法首先將一個樣本分成的局部小塊都構造在同一個流形上，使得每個樣本都有屬于自己的流形空間；然后構造出每一個子流形的最小局部嵌入和最大全局方差，再利用優(yōu)化求解目標函數(shù)得出在高維空間中嵌入的低維流形；最后通過流形距離設定支持向量機的分類超平面，通過訓練支持向量機得到最終的分