基于大型數(shù)據(jù)庫的決策樹算法研究與實現(xiàn).pdf

1、在數(shù)據(jù)挖掘和機器學習領(lǐng)域中分類是一項非常重要的基本任務。它能對大量有關(guān)數(shù)據(jù)進行學習和分析，并建立相應問題領(lǐng)域中的分類模型。該技術(shù)在科學、通訊、金融等領(lǐng)域均有著廣泛的應用。決策樹分類方法作為分類知識發(fā)現(xiàn)的一種非常重要方法，它具有良好的可解釋性、分類速度快、分類性能優(yōu)越，因此，研究決策樹分類器算法逐漸成為一個活躍的研究領(lǐng)域。 最為典型的決策樹分類器學習算法是ID3算法，它采用自頂向下分而治之的策略，利用信息增益的標準選擇分裂屬性，能

2、保證構(gòu)造出一棵簡單的樹。但是它只能處理枚舉型屬性，不能解決過適應問題。C4.5算法很好地擴展了ID3算法，它將分類領(lǐng)域從枚舉型屬性擴展到連續(xù)值屬性，同時采用剪枝策略很好地解決了過適應問題。目前它已成為現(xiàn)在公認的性能較優(yōu)的決策樹分類器算法。 在實際應用中，所構(gòu)建的決策樹通常是基于大型數(shù)據(jù)庫中的海量數(shù)據(jù)，如何將決策樹的構(gòu)建與數(shù)據(jù)庫技術(shù)充分結(jié)合起來仍是一個值得研究的問題，為此，很多以前提出的算法被重新研究和拓展。 本文研究了決

3、策樹構(gòu)造與數(shù)據(jù)庫技術(shù)緊密結(jié)合的可擴展的分類算法。利用SQL語言實現(xiàn)數(shù)據(jù)預處理和屬性度量計算，在關(guān)系數(shù)據(jù)庫中實現(xiàn)決策樹存儲表示。本文還提出了決策樹構(gòu)造所需的訓練集通過數(shù)據(jù)庫中的視圖來定義，并且對于劃分訓練集所形成的子集，依然是通過嵌套視圖的方法定義；在構(gòu)造樹的過程中，通過數(shù)據(jù)庫系統(tǒng)的SQL語言實現(xiàn)主要的計算任務?；谝晥D的分類算法充分利用了現(xiàn)有大型數(shù)據(jù)庫的強大處理能力，并且易于實現(xiàn)。本文的最后通過以KDD CUP 2004的比賽數(shù)據(jù)為試驗