代價(jià)敏感決策樹構(gòu)建方法的研究.pdf

1、決策樹算法因它簡單高效、知識提取簡單、生成規(guī)則易于理解等優(yōu)點(diǎn)，在數(shù)據(jù)挖掘領(lǐng)域占據(jù)十分重要的地位。然而，現(xiàn)實(shí)生活中涉及代價(jià)的問題普遍存在，傳統(tǒng)的決策樹算法已無法滿足代價(jià)的需求。因此，將決策樹和代價(jià)敏感學(xué)習(xí)相結(jié)合的算法研究顯得尤為重要。
　　在已有的代價(jià)敏感決策樹算法中還存在很多不足，例如:用于屬性結(jié)點(diǎn)選擇的啟發(fā)函數(shù)中參數(shù)值難以確定;已有算法在小數(shù)據(jù)集上表現(xiàn)不錯(cuò)，但在大數(shù)據(jù)集上效率明顯降低;決策樹模型由于沒有使用恰當(dāng)?shù)募糁Σ呗詫?dǎo)致出現(xiàn)

2、過擬合現(xiàn)象，泛化能力較低。本文針對已有代價(jià)敏感決策算法的不足，提出以下優(yōu)化方法:
　　(1)本文針對已有代價(jià)敏感決策樹算法中分類代價(jià)偏高以及存在多值屬性偏頗問題，引用了CS-C4.5算法的啟發(fā)函數(shù)，并對其進(jìn)行了優(yōu)化，優(yōu)化后啟發(fā)函數(shù)的特點(diǎn)是當(dāng)一個(gè)屬性再次被測試的時(shí)候退化成了C4.5算法;并引入自適應(yīng)選擇參數(shù)機(jī)制，構(gòu)建了ADP算法。實(shí)驗(yàn)證明，優(yōu)化后的ADP算法在構(gòu)建樹的過程中能折中考慮模型自身的分類能力、測試代價(jià)和誤分類代價(jià)三方面信息

3、。
　　(2)受“概率堅(jiān)持剪枝”策略的啟發(fā)，本文對它的對偶策略——“概率拒絕剪枝”策略進(jìn)行了研究，該剪枝策略的思想為:根據(jù)剪枝規(guī)則確定決策樹應(yīng)該被剪枝時(shí)，算法仍然以一定的概率拒絕剪枝。對比實(shí)驗(yàn)證明，“概率拒絕剪枝”策略能夠進(jìn)一步減小模型的平均分類代價(jià)，以及解決決策樹模型的過擬合問題，提高模型的泛化能力。
　　(3)本文針對已有代價(jià)敏感決策樹算法在高維性、不平衡性的數(shù)據(jù)集上效率較低的不足，在決策樹的構(gòu)建過程中引入了自適應(yīng)選擇切