基于決策樹(shù)ID3算法的數(shù)據(jù)挖掘技術(shù)研究與應(yīng)用.pdf

1、決策樹(shù)方法是數(shù)據(jù)挖掘的重要方法，通常用來(lái)形成分類器和預(yù)測(cè)模型。決策樹(shù)方法包含多種不同的算法，其中ID3算法是決策樹(shù)方法的典型代表，是決策樹(shù)生成最常用的具體實(shí)現(xiàn)方法，它利用信息論中的信息增益尋找數(shù)據(jù)庫(kù)中具有最大信息量的屬性字段，建立決策樹(shù)的一個(gè)結(jié)點(diǎn)，再根據(jù)該屬性字段的不同取值建立樹(shù)的分枝，在每個(gè)分枝集中重復(fù)建立樹(shù)的下一個(gè)結(jié)點(diǎn)和分枝。通過(guò)這種方式，可以保證決策樹(shù)具有最小的分枝數(shù)量，使得到的決策樹(shù)冗余最小。但是，目前的ID3算法存在著偏向于選

2、擇屬性取值較多的屬性，而實(shí)際中屬性值較多的屬性卻不總是最優(yōu)的屬性。多值偏向可能導(dǎo)致從數(shù)據(jù)集中歸納出錯(cuò)誤的規(guī)則，使決策樹(shù)的性能下降，因此測(cè)試屬性的選擇問(wèn)題成為ID3算法的一個(gè)關(guān)鍵問(wèn)題。 針對(duì)上述問(wèn)題，本文提出了一種避免了多值偏向問(wèn)題的ID3改進(jìn)算法——NewDtree算法。該算法是以屬性相似度的理論框架為基礎(chǔ)，通過(guò)計(jì)算條件屬性和決策屬性的相似度，然后把相似度的大小作為測(cè)試屬性的選擇標(biāo)準(zhǔn)。本文應(yīng)用理論分析方法對(duì)NewDtree算法不

3、存在多值偏向問(wèn)題進(jìn)行了證明，通過(guò)對(duì)NewDtree算法在University of California，Irvine(UCI)機(jī)器學(xué)習(xí)數(shù)據(jù)集中的2個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集訓(xùn)練得出的決策樹(shù)進(jìn)行分析，NewDtree算法能有效的提高分類的正確率，彌補(bǔ)了ID3算法選擇測(cè)試屬性時(shí)偏向取值較多的不足。 最后，為了證明NewDtree算法的實(shí)用性，本文將NewDtree算法應(yīng)用于以高校就業(yè)分析為主題的數(shù)據(jù)挖掘系統(tǒng)中，以實(shí)現(xiàn)對(duì)高校就業(yè)數(shù)據(jù)的分類，建立挖