樸素貝葉斯與決策樹混合分類方法的研究.pdf

1、數(shù)據(jù)挖掘是致力于數(shù)據(jù)分析和理解、揭示數(shù)據(jù)內(nèi)部蘊(yùn)藏知識(shí)的技術(shù)，并且能有效地從低信噪比數(shù)據(jù)中挖掘有價(jià)值的信息。分類的模型主要包括樸素貝葉斯、決策樹、支持向量機(jī)等。樸素貝葉斯和決策樹以算法簡(jiǎn)單、計(jì)算量小以及分類結(jié)果對(duì)噪音魯棒等特點(diǎn)而得到廣泛運(yùn)用。本文從以下幾個(gè)方面著眼，改進(jìn)樸素貝葉斯和決策樹算法:
　　(1)盡管樸素貝葉斯的分類結(jié)果受到廣泛承認(rèn)，但是面對(duì)某些特殊情形，依然存在兩個(gè)缺陷，即屬性間必須滿足獨(dú)立的條件，以及概率估計(jì)方式粗糙的問

2、題。針對(duì)樸素貝葉斯概率估計(jì)粗糙的問題，本文提出了基于樸素貝葉斯的概率優(yōu)化算法。將概率優(yōu)化函數(shù)運(yùn)用到樸素貝葉斯中，充分考慮到樸素貝葉斯中條件概率為零的屬性，從而避免了樸素貝葉斯易下溢和過度擬合的問題。本文采用了UCI數(shù)據(jù)集進(jìn)行了多組驗(yàn)，與傳統(tǒng)分類算法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明在高維數(shù)據(jù)中，基于樸素貝葉斯的概率優(yōu)化算法算法提高了分類準(zhǔn)確率，表現(xiàn)出了優(yōu)良的性能。
　　(2)在針對(duì)多類標(biāo)簽的分類問題上，文中介紹了樸素貝葉斯與決策樹的混合分類算

3、法，由于在訓(xùn)練集中存在有噪聲矛盾的實(shí)例，將使決策樹遭遇過度擬合并且致使精確度下降。在構(gòu)造決策樹之前運(yùn)用本文提出的樸素貝葉斯的概率優(yōu)化算法進(jìn)行預(yù)處理，來移除訓(xùn)練集中的噪音實(shí)例，從而避免決策樹算法的過度擬合。本文采用UCI數(shù)據(jù)集，采用10倍交叉驗(yàn)證的方法，對(duì)論文中提出的算法進(jìn)行實(shí)驗(yàn)。通過大量對(duì)比實(shí)驗(yàn)顯示，本文中提出的方法產(chǎn)生了較好的結(jié)果。樸素貝葉斯與決策樹的混合算法還允許我們自動(dòng)的從擁有高維屬性的噪聲數(shù)據(jù)中抽取最具有代表性和高質(zhì)量的數(shù)據(jù)集，