基于粗糙集和灰色理論的決策樹算法研究.pdf

1、在決策樹分類算法的實(shí)際應(yīng)用中，由于數(shù)據(jù)集本身經(jīng)常存在著屬性值缺失或包含冗余屬性較多的情況，同時(shí)現(xiàn)有的決策樹分支屬性選擇方法容易產(chǎn)生過多的規(guī)則，這些往往導(dǎo)致生成的決策樹規(guī)模較大。因此，進(jìn)一步改進(jìn)決策樹算法，使其更加適合數(shù)據(jù)挖掘的應(yīng)用要求，具有重要的理論和現(xiàn)實(shí)意義。
　　 本文從屬性值缺失的填補(bǔ)、屬性約簡和決策樹分支屬性選擇三方面進(jìn)行研究。
　　 第一，由于基于K近鄰算法的屬性值缺失填補(bǔ)算法中沒有考慮填補(bǔ)后是否會導(dǎo)致數(shù)據(jù)沖突

2、的現(xiàn)象；對K值的選取需多次嘗試，但未必取到最優(yōu)值；而且有些填補(bǔ)是在整個(gè)數(shù)據(jù)集中進(jìn)行的，這在實(shí)際應(yīng)用中可能會導(dǎo)致填補(bǔ)的數(shù)據(jù)出現(xiàn)嚴(yán)重錯(cuò)誤。針對上述缺陷，本文利用灰色理論和粗糙集理論相結(jié)合得到GRFill(Grey theory Rough set put)屬性值缺失填補(bǔ)算法，并實(shí)現(xiàn)了平均值填補(bǔ)法和基于歐式距離的最近鄰填補(bǔ)法，填補(bǔ)完成后通過根均方誤差RMSE(Root Mean Squared Error)的大小及C4.5算法生成的決策樹的預(yù)

3、測準(zhǔn)確率來比較GRFill填補(bǔ)算法與上述兩種算法的填補(bǔ)效果。
　　 第二，針對傳統(tǒng)的基于區(qū)分矩陣的屬性約簡算法的時(shí)間及空間復(fù)雜度高的缺點(diǎn)進(jìn)行改進(jìn)，實(shí)現(xiàn)了刪除冗余屬性且對決策樹性能有所改進(jìn)的RSredu(RoughSet reduct)屬性約簡算法。
　　 第三，利用粗糙集理論定義條件屬性與決策屬性的分類關(guān)系，得到了利用條件屬性與決策屬性分類一致性大小作為分支屬性選擇標(biāo)準(zhǔn)的RDTree(RoughSet Decesion

4、Tree)決策樹算法。
　　 實(shí)驗(yàn)結(jié)果表明，GRFill填補(bǔ)算法的根均方誤差RMSE小于平均值填補(bǔ)法和基于歐式距離的最近鄰填補(bǔ)法，分類預(yù)測準(zhǔn)確率高于平均值填補(bǔ)法和基于歐式距離的最近鄰填補(bǔ)法；經(jīng)過RSredu屬性約簡算法約簡后再進(jìn)行決策樹分類，減小了決策樹的規(guī)模；利用條件屬性與決策屬性的分類一致性大小作為分支屬性選擇標(biāo)準(zhǔn)的RDTree決策樹算法生成的決策樹葉子數(shù)及總節(jié)點(diǎn)數(shù)少于C4.5算法，準(zhǔn)確率及平均運(yùn)行時(shí)間與C4.5算法相近。最