不均衡數(shù)據(jù)分類方法的研究.pdf

1、隨著科技的進步，特別是信息技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生了大量各種形式的數(shù)據(jù)。然而可以從數(shù)據(jù)中獲取的信息卻是貧乏的。為了解決在海量數(shù)據(jù)中獲取有用信息的問題，數(shù)據(jù)挖掘技術(shù)應(yīng)運而生。當前，數(shù)據(jù)挖掘的理論和方法被廣泛應(yīng)用于商業(yè)、工業(yè)及科學研究等多個領(lǐng)域，但隨著對實際應(yīng)用發(fā)展的深入研究，人們發(fā)現(xiàn)了一類很具有挑戰(zhàn)性的問題——不均衡數(shù)據(jù)分類，并獲得人們更多的關(guān)注。這種訓練樣本數(shù)量在類間分布不均衡的模式分類問題，對于基于總體分類精度為學習目標的傳統(tǒng)分類

2、器而言，這種不均衡勢必會導致分類器過多關(guān)注多數(shù)類樣本，從而使少數(shù)類樣本分類性能下降。
　　本文聚焦于不均衡數(shù)據(jù)挖掘中的分類技術(shù)研究，在深入探查不均衡數(shù)據(jù)分類的各種策略基礎(chǔ)上，圍繞在數(shù)據(jù)層面上合理準確的采樣算法設(shè)計、在算法層面上適應(yīng)不均衡數(shù)據(jù)的分類算法改進，對已有算法的關(guān)鍵參數(shù)優(yōu)化指導三個方面，對靜態(tài)、動態(tài)不均衡數(shù)據(jù)分類;二類及多類類別數(shù)據(jù)分類，以及醫(yī)學CAD中肺結(jié)節(jié)識別等問題展開研究。本文主要工作包括:
　　(1)針對類間不

3、均衡數(shù)據(jù)分布中類內(nèi)不均衡性、類重疊及噪音問題對傳統(tǒng)分類算法及采樣算法造成的影響，本文提出一種基于概率分布估計的混合采樣的數(shù)據(jù)處理算法。該算法依據(jù)數(shù)據(jù)概率分別對每個子類進行采樣來保證類內(nèi)的均衡性，從而同時從全局和局部兩個角度改善數(shù)據(jù)的平衡性，讓采樣的數(shù)據(jù)更好地近似了真實的類空間分布情況，并對不均衡分布中類重疊和噪音問題加以針對性的處理。實驗證明該采樣算法有效改善不均衡數(shù)據(jù)的分布質(zhì)量，使分類算法具有更高的分類精度。
　　(2)針對生成

4、模型在數(shù)據(jù)失衡的情況下輸出的概率與類隸屬程度并不一致，導致分類效果很不理想的問題，本文提出一種基于決策準則優(yōu)化的集成分類算法。該算法基于后驗概率信息，在不均衡數(shù)據(jù)評價度量指導下對分類決策準則進行優(yōu)化;同時為了提高分類的泛化性，提出一種自適應(yīng)隨機子空間組合分類算法，以增強基分類器之間的差異性，避免分類器學習和決策準則優(yōu)化的過擬合，并可自動獲得基分類器的最佳數(shù)量。通過大量UCI數(shù)據(jù)集的實驗驗證表明，與其它同類算法相比，該算法在精度和效率上都

5、具有更好的處理不均衡數(shù)據(jù)的優(yōu)勢。
　　(3)針對現(xiàn)有的重采樣和代價敏感算法中參數(shù)缺乏有效的指導和優(yōu)化，本文提出一種性能導向優(yōu)化的不均衡數(shù)據(jù)元學習方法。通過粒子群算法，以不均衡數(shù)據(jù)分類評價指標作為目標函數(shù)，來優(yōu)化二類或多類數(shù)據(jù)的不均衡學習參數(shù)，并同時對特征進行選擇，從而達到最佳的數(shù)據(jù)分布或代價敏感分類模型。利用UCI數(shù)據(jù)集對算法進行驗證，并與領(lǐng)域內(nèi)其他算法進行性能對比和分析，全面系統(tǒng)地證明算法的有效性。
　　(4)針對具有概念

6、漂移的不均衡數(shù)據(jù)流分類問題，本文提出一種結(jié)合選擇性采樣的加權(quán)集成學習算法。通過選擇相似度高的歷史數(shù)據(jù)和合成邊界區(qū)域的新數(shù)據(jù)來有效增加少數(shù)類樣本信息，擴大少數(shù)類的決策域;同時為了適應(yīng)動態(tài)數(shù)據(jù)中存的概念漂移，利用集成分類思想，設(shè)計了一種基于概率分布相關(guān)度的權(quán)重分配策略。實驗結(jié)果表明該算法有效地提高了少數(shù)類的識別率以及整體的分類性能，具有更好的處理不均衡數(shù)據(jù)流的優(yōu)勢。
　　(5)針對肺結(jié)節(jié)CAD檢測中獲得的疑似肺結(jié)節(jié)數(shù)據(jù)具有真假陽性類別

7、不均衡，真陽性數(shù)據(jù)稀少且特征維數(shù)較高等具體問題，本文使用之前提出的三種算法，基于SVM基分類器進行改進和擴展，并在醫(yī)學領(lǐng)域中肺結(jié)節(jié)識別對數(shù)據(jù)預處理、代價敏感集成學習和元學習三種方法進行比較分析。實驗表明，在保證分類高敏感性的前提下，三種算法可以有效去除過多的假陽性，進而對三維肺結(jié)節(jié)進行準確的識別;而且元學習方法由于未改變數(shù)據(jù)分布且同時對特征進行了選擇，在疑似肺結(jié)節(jié)分類問題上相對于其他兩種方法獲得了更好的泛化能力。
　　綜上，本文提