基于決策樹的分類算法研究和應(yīng)用.pdf

1、面對信息時代海量數(shù)據(jù)的出現(xiàn)，如何有效利用海量的原始數(shù)據(jù)分析現(xiàn)狀和預(yù)測未來，已經(jīng)成為人類面臨的一大挑戰(zhàn)。由此，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生并得到迅猛發(fā)展。 數(shù)據(jù)挖掘是指從數(shù)據(jù)庫中抽取隱含的、具有潛在使用價值信息的過程，是一種新型的數(shù)據(jù)分析技術(shù)，被廣泛應(yīng)用于銀行金融、保險、政府、教育、運(yùn)輸?shù)绕笫聵I(yè)單位及國防科研上。數(shù)據(jù)挖掘應(yīng)用的普遍性及帶來的巨大經(jīng)濟(jì)和社會效益，吸引了許多專家和研究機(jī)構(gòu)從事該領(lǐng)域的研究。 數(shù)據(jù)分類是數(shù)據(jù)挖掘中一個重要

2、的內(nèi)容。分類存在很多方法，其中決策樹歸納以其易于提取顯式規(guī)則、計算量相對較小、可以顯示重要的決策屬性和較高的分類準(zhǔn)確率等優(yōu)點而得到廣泛的應(yīng)用。據(jù)統(tǒng)計，目前決策樹算法是利用最廣泛的數(shù)據(jù)挖掘算法之一，利用率高達(dá)19％。應(yīng)用領(lǐng)域已由醫(yī)療到博弈論和商務(wù)等領(lǐng)域，是一些商業(yè)規(guī)則歸納系統(tǒng)的基礎(chǔ)。 尋找新的構(gòu)造決策樹和簡化決策樹的方法一直是決策樹技術(shù)研究的一個熱點。SLIQ算法和SPRINT算法很好的解決了磁盤駐留數(shù)據(jù)太大以至于無法被內(nèi)存容納帶

3、來的問題。它沒有采納利用抽樣或劃分?jǐn)?shù)據(jù)集來獲得可容納于內(nèi)存的小樹據(jù)的處理方法，而是采用了一種新的數(shù)據(jù)結(jié)構(gòu)，直接在整個數(shù)據(jù)集上建立一棵決策樹。但SPRINT、SLIQ等算法處理的訓(xùn)練集的大小都是固定的，來自穩(wěn)定的環(huán)境，人為干預(yù)較少，忽視了數(shù)據(jù)的變化趨勢。在現(xiàn)實生活中，數(shù)據(jù)集并不是穩(wěn)定的，而是連續(xù)到來的。將現(xiàn)有的算法改進(jìn)使其能夠適應(yīng)不斷生長的訓(xùn)練集，生成一棵與舊樹相關(guān)的樹是十分有現(xiàn)實意義的。 本文的研究工作源于上述的背景，目的是對數(shù)

4、據(jù)庫知識發(fā)現(xiàn)進(jìn)行深入的研究，探索數(shù)據(jù)挖掘中決策樹的更新問題，以更好的應(yīng)用于實際工作中，主要進(jìn)行了以下的研究工作： 1、指出構(gòu)造好的決策樹的關(guān)鍵在于如何選擇好的邏輯判斷或?qū)傩?，比較了信息增益、基尼指數(shù)屬性選擇度量方法的優(yōu)缺點，探討了將離散屬性值組合計算基尼指數(shù)來構(gòu)造二叉樹的方法。 2、研究了決策樹的幾種生成算法和剪枝算法，比較了它們的優(yōu)缺點，特別是針對可伸縮的SPRINT算法做了全面的分析。深入探討了建樹算法與剪枝算法的集

5、成問題，即Public算法以及一個可應(yīng)用于其它算法的RAINFOREST框架結(jié)構(gòu)，并應(yīng)用于后面的實例中。 3、針對現(xiàn)實生活中，數(shù)據(jù)集高速到來的情況，由SPRINT算法、Public算法的思想以及RAINFOREST框架結(jié)構(gòu)-cc表，提出了一種新的數(shù)據(jù)集動態(tài)變化的決策樹生成與剪枝算法，使其能夠適應(yīng)數(shù)據(jù)集的連續(xù)性，從而提高算法的實時有效性。 4、將決策樹數(shù)據(jù)挖掘方法應(yīng)用到汽車銷售中。從調(diào)查問卷中挖掘出最近一年內(nèi)有購車意愿的客