基于增量聚類和ReliefF的特征選擇方法.pdf

1、隨著計算機科學技術的迅速發(fā)展以及人工智能技術的興起，模式識別得到越來越廣泛的應用。人們在進行模式識別時，通常需要采集數(shù)量巨大的原始特征，使得原始特征空間的維數(shù)達到幾千甚至幾萬維，大大降低了識別效率和識別正確率。特征選擇作為模式識別中非常重要和關鍵的一個步驟，對分類決策而言，起著非常重要的作用，直接影響識別結果。
　　 本文在全面分析現(xiàn)有特征選擇方法的基礎上，重點研究了Relief特征選擇方法。相對其它特征選擇方法，Relief不

2、管是時間代價還是對數(shù)據(jù)類型的限制上都有明顯的優(yōu)勢。因此，選擇Relief算法的改進算法ReliefF作為研究的出發(fā)點。ReliefF算法是一種有監(jiān)督學習的特征選擇方法，很大程度上依賴于類別標簽。而以聚類為基本工具進行特征選擇，不需要依賴類別標簽，對數(shù)據(jù)類型沒有約束，更適合于大規(guī)模數(shù)據(jù)集，能夠適用于任何情況下的數(shù)據(jù)降維。將聚類和ReliefF方法結合起來，能在無類別標簽的情況下，利用ReliefF方法實現(xiàn)對大規(guī)模數(shù)據(jù)集進行特征選擇。

3、>　　 為此，本文對增量聚類與ReliefF相結合的特征選擇方法進行了較深入的研究。研究發(fā)現(xiàn)，增量聚類方法和ReliefF方法均存在一些不足，若簡單地將這兩種方法組合起來進行特征選擇，這些問題并不能解決。在全面分析增量聚類方法和ReliefF方法存在的問題的基礎上，針對增量聚類和ReliefF方法的不足，提出改進策略：(1)通過可調參數(shù)的設置，將聚類半徑確定在一個初始范圍內，由后期實驗確定可調參數(shù)取值；引入最小距離原則確定樣本對象歸屬

4、；(2)引入信息熵理論，計算不同聚類數(shù)目時信息熵值，選擇信息熵最小的值對應的聚類數(shù)目作為增量聚類的最終聚類數(shù)目；(3)提出一種解決混合屬性冗余問題的方法，分別利用相關系數(shù)ρ和互信息方法來計算特征之間的相關度，找出相關度大的特征(即冗余特征)，將之刪除。在此基礎上，提出了一種基于增量聚類和Relieff的特征選擇方法--ICB-ReliefF。
　　 在選擇出的UCI數(shù)據(jù)集上，將本文提出的ICB-ReliefF方法與已有方法進行對