基于信息增益的決策樹算法的分析與改進.pdf

1、數(shù)據(jù)挖掘概念的第一次出現(xiàn)是在1995年的知識發(fā)現(xiàn)會議上，由Fayyad提出的。他認為數(shù)據(jù)挖掘是一個知識發(fā)現(xiàn)的過程，是一個自動或者半自動化的從大量的數(shù)據(jù)中發(fā)現(xiàn)有意義的，對我們潛在有用的數(shù)據(jù)模式的過程。數(shù)據(jù)挖掘研究起初的障礙是數(shù)據(jù)的收集比較困難，對少量數(shù)據(jù)處理容易導致模型的過度擬合。后來由于越來越多的人意識到數(shù)據(jù)挖掘的重要性，各行各業(yè)開始逐漸投入大量的資源來建立和維護自己的信息化系統(tǒng)以用來收集可利用的數(shù)據(jù)。但是數(shù)據(jù)量的豐富，在給我們提供大量

2、數(shù)據(jù)的同時也帶來了一些麻煩。首先雖然數(shù)據(jù)量很大但不一定全是有用的信息，從這些數(shù)據(jù)中找出我們需要的數(shù)據(jù)是一個重要的問題，其次數(shù)據(jù)量過大時對數(shù)據(jù)的存儲也是一個重大的挑戰(zhàn)。
　　數(shù)據(jù)挖掘中使用的方法主要是有以下幾類，關(guān)于監(jiān)督和預測的模型：神經(jīng)網(wǎng)絡、決策樹算法、回歸等；無監(jiān)督模型：聚類分析（快速聚類及二階聚類）和關(guān)聯(lián)分析（多維關(guān)聯(lián)及時序關(guān)聯(lián)）；針對大數(shù)據(jù)現(xiàn)象出現(xiàn)的數(shù)據(jù)降維類方法：主成分分析、因子分析等。根據(jù)想要得到的結(jié)果,可以選擇不同的分

3、析方法。
　　本文主要介紹決策樹方法中的ID3算法和C4.5算法，并且分析了它們各自的優(yōu)缺點。本文的創(chuàng)新點是在ID3算法理論的基礎上提出了修正的信息增益函數(shù)。修正的算法可以在一定程度上避免原算法中易偏向于選擇屬性取值數(shù)目較多的屬性作為樣本的劃分屬性。將ID3算法和改進的算法的預測能力進行比較，實驗表明改進的算法具有更高的預測精度。
　　本文中還分析了數(shù)據(jù)流挖掘中基于Hoeffding不等式的VFDT算法，針對連續(xù)屬性處理的N