基于互信息的屬性選擇算法研究.pdf

1、屬性選擇技術(shù)是數(shù)據(jù)挖掘中一個日趨重要的研究方向.基于互信息的屬性選擇算法是一種常見的屬性選擇技術(shù)，具有易用性和高效性的特點，且具有很強的理論基礎(chǔ)，因此它是屬性選擇算法的研究熱點.
　　本文首先系統(tǒng)介紹了基于互信息的屬性選擇算法的基礎(chǔ)理論，從而為新算法中評價函數(shù)的推導(dǎo)奠定了理論基礎(chǔ).其次，從搜索策略和評價函數(shù)兩個方面對基于互信息的屬性選擇算法進行概述，并探討它們的優(yōu)缺點，這對新算法的設(shè)計起到了指導(dǎo)作用.最后，詳細探討了兩類基于互信息

2、的屬性選擇算法:一類是基于二次規(guī)劃的屬性選擇算法，是一種最優(yōu)化的屬性選擇算法;另一類是基于極大連通子圖的屬性選擇算法，是一種啟發(fā)式的屬性選擇算法.隨后分別對它們提出了改進算法，并做了實驗驗證分析.
　　本文針對基于二次規(guī)劃的屬性選擇算法的求解難題，提出了一種基于Rayleigh商的新解法，即RFSCMI屬性選擇算法.它最終得到的是所有屬性按照重要性的排名，若要得到最優(yōu)屬性子集，則需要設(shè)定子集中屬性個數(shù)參數(shù);針對啟發(fā)式屬性選擇算法S

3、OFS中過度刪除相關(guān)屬性的問題，提出了一種基于極大連通子圖的屬性選擇算法，即MCSGFS屬性選擇算法.這是與最優(yōu)屬性子集中屬性個數(shù)無關(guān)的算法，其結(jié)果即是最優(yōu)屬性子集，無需設(shè)定子集中屬性個數(shù)參數(shù).
　　本文實驗選用了四個數(shù)據(jù)集，分別是Ionosphere34、Waveform21、Wave form40和Wdbc31;選用了兩個評價屬性選擇算法的分類器算法，分別是Naive Bayes和C4.5，利用它們對本文中5個基于互信息的屬性

4、算法進行實驗.實驗表明，在基于二次規(guī)劃的3個屬性選擇算法(QPFS、EQPFS和RFSCMI)中，本文改進的算法RFSCMI的最優(yōu)屬性子集的分類準確率較高;在啟發(fā)式的2個屬性選擇算法(SOFS和MCSGFS)中，本文提出的算法MCSGFS的最優(yōu)屬性子集的分類準確率略高于SOFS算法.根據(jù)對這5個基于互信息的屬性選擇算法的綜合實驗分析可知，在大多數(shù)情況下，最優(yōu)化的基于二次規(guī)劃的屬性選擇算法的結(jié)果優(yōu)于啟發(fā)式的基于極大連通子圖的屬性選擇算法，