決策樹設計及集成技術研究.pdf

1、數(shù)據(jù)挖掘是指從數(shù)據(jù)庫中抽取隱含的、具有潛在使用價值信息的過程，是一種新型的數(shù)據(jù)分析技術。數(shù)據(jù)分類是數(shù)據(jù)挖掘中一個重要的內(nèi)容。分類存在很多方法，其中決策樹算法以其易于提取顯式規(guī)則、計算量相對較小、可以顯示重要的決策屬性和較高的分類準確率等優(yōu)點而得到廣泛的應用。
　　 然而決策樹算法是不穩(wěn)定的，為了提高決策樹的分類性能，本文引入了集成學習技術。集成學習是一種新的機器學習范式，它使用多個分類器來解決同一個問題，能夠顯著地提高學習系統(tǒng)的

2、泛化能力。因此從20世紀90年代開始，對集成學習理論和算法的研究成為機器學習領域的一個熱點。
　　 本文圍繞決策樹和集成學習理論進行了相關的研究，主要研究工作包括：
　　 1.ID3算法是最具有影響的一種決策樹生成算法。該算法根據(jù)屬性的信息增益來選擇分裂屬性，但是易偏向于選擇屬性值個數(shù)較多的屬性，而屬性值個數(shù)多的屬性卻并不一定是最優(yōu)的分裂屬性。為了克服ID3算法的不足，將熵均值決策與樣本分布決策進行了融合，本文提出了一種

3、新的決策樹構造算法MIDT(MultipleInformation Decision Tree)。實驗表明，MIDT算法在分類正確率和穩(wěn)定性上優(yōu)于ID3算法和參數(shù)估計決策樹算法。
　　 2.單變量決策樹算法造成樹的規(guī)模龐大，規(guī)則復雜，不易理解，而多變量決策樹是一種有效用于分類的數(shù)據(jù)挖掘方法，構造的關鍵是根據(jù)屬性之間的相關性選擇合適的屬性組合構成一個新的屬性作為節(jié)點。結合粗糙集原理中的知識依賴性度量和信息系統(tǒng)中條件屬性集的離散度概

4、念，提出了一種多變量決策樹的構造算法DTRD(Decision Tree based on Rough set and Dispersion degree)。在UCI上部分數(shù)據(jù)集的實驗結果表明，我們提出的多變量決策樹算法的分類性能與傳統(tǒng)的ID3算法以及基于核方法的多變量決策樹的分類效果相比，有一定的提高。
　　 3.集成成員分類器之間要有一定的差異性，否則集成在一起意義不大。由于差異性度量沒有統(tǒng)一的定義，研究人員提出了多種不同的

5、差異性度量方法。我們在分析常用的差異性度量基礎上，提出了一種新的分類器差異性度量方法CDEC(Correctresults，Disagreement and Exponential Count of errorS)。綜合考慮了集成中兩個分類器對模式分類一致正確、分類不一致情況，同時抑制了分類器同時發(fā)生分類錯誤的情況，并以此為基礎提出了一種新的分類器選擇性集成方法。在UCI上部分數(shù)據(jù)集的實驗結果表明，CDEC能有效的度量分類器之間的差異性

6、，并能較好的用于選擇性集成中成員分類器的選擇過程。
　　 4.AdaBoost算法對噪聲很敏感，在訓練樣本具有噪聲數(shù)據(jù)時，分類性能較差。我們提出了一種用于噪聲數(shù)據(jù)分類的局部Boosting算法，即LAdaBoost。其主要思想是：在每次迭代過程中，計算每個訓練樣本的局部錯誤率，利用局部錯誤率更新樣本被選作用于訓練下一個分類器的概率。對一個新的樣本進行分類時，考慮了該樣本和它鄰域內(nèi)的每個訓練樣本的近似度。在UCI部分數(shù)據(jù)集上的實驗