代價(jià)敏感決策樹(shù)構(gòu)建方法的研究.pdf

1、決策樹(shù)算法因它簡(jiǎn)單高效、知識(shí)提取簡(jiǎn)單、生成規(guī)則易于理解等優(yōu)點(diǎn)，在數(shù)據(jù)挖掘領(lǐng)域占據(jù)十分重要的地位。然而，現(xiàn)實(shí)生活中涉及代價(jià)的問(wèn)題普遍存在，傳統(tǒng)的決策樹(shù)算法已無(wú)法滿(mǎn)足代價(jià)的需求。因此，將決策樹(shù)和代價(jià)敏感學(xué)習(xí)相結(jié)合的算法研究顯得尤為重要。
　　在已有的代價(jià)敏感決策樹(shù)算法中還存在很多不足，例如:用于屬性結(jié)點(diǎn)選擇的啟發(fā)函數(shù)中參數(shù)值難以確定;已有算法在小數(shù)據(jù)集上表現(xiàn)不錯(cuò)，但在大數(shù)據(jù)集上效率明顯降低;決策樹(shù)模型由于沒(méi)有使用恰當(dāng)?shù)募糁Σ呗詫?dǎo)致出現(xiàn)

2、過(guò)擬合現(xiàn)象，泛化能力較低。本文針對(duì)已有代價(jià)敏感決策算法的不足，提出以下優(yōu)化方法:
　　(1)本文針對(duì)已有代價(jià)敏感決策樹(shù)算法中分類(lèi)代價(jià)偏高以及存在多值屬性偏頗問(wèn)題，引用了CS-C4.5算法的啟發(fā)函數(shù)，并對(duì)其進(jìn)行了優(yōu)化，優(yōu)化后啟發(fā)函數(shù)的特點(diǎn)是當(dāng)一個(gè)屬性再次被測(cè)試的時(shí)候退化成了C4.5算法;并引入自適應(yīng)選擇參數(shù)機(jī)制，構(gòu)建了ADP算法。實(shí)驗(yàn)證明，優(yōu)化后的ADP算法在構(gòu)建樹(shù)的過(guò)程中能折中考慮模型自身的分類(lèi)能力、測(cè)試代價(jià)和誤分類(lèi)代價(jià)三方面信息

3、。
　　(2)受“概率堅(jiān)持剪枝”策略的啟發(fā)，本文對(duì)它的對(duì)偶策略——“概率拒絕剪枝”策略進(jìn)行了研究，該剪枝策略的思想為:根據(jù)剪枝規(guī)則確定決策樹(shù)應(yīng)該被剪枝時(shí)，算法仍然以一定的概率拒絕剪枝。對(duì)比實(shí)驗(yàn)證明，“概率拒絕剪枝”策略能夠進(jìn)一步減小模型的平均分類(lèi)代價(jià)，以及解決決策樹(shù)模型的過(guò)擬合問(wèn)題，提高模型的泛化能力。
　　(3)本文針對(duì)已有代價(jià)敏感決策樹(shù)算法在高維性、不平衡性的數(shù)據(jù)集上效率較低的不足，在決策樹(shù)的構(gòu)建過(guò)程中引入了自適應(yīng)選擇切