代價(jià)敏感決策樹算法研究.pdf

1、代價(jià)敏感學(xué)習(xí)是近幾年數(shù)據(jù)挖掘領(lǐng)域的一個熱門研究方向?；诖鷥r(jià)敏感學(xué)習(xí)的分類算法的目標(biāo)是進(jìn)行分類時使得樣例的誤分類代價(jià)、屬性檢測代價(jià)等多種代價(jià)因素的總和最少。決策樹作為一種經(jīng)典的分類算法，其模型具有較好的可理解性、程序運(yùn)行時較低的時間和空間復(fù)雜度、分類時較高的準(zhǔn)確率等優(yōu)點(diǎn)。正是由于決策樹的諸多優(yōu)點(diǎn)，近些年來不少學(xué)者嘗試將決策樹分類算法應(yīng)用于代價(jià)敏感學(xué)習(xí)問題中。
　　現(xiàn)有的代價(jià)敏感決策樹可以分為兩類，一類是建立單一決策樹模型來解決代價(jià)

2、敏感分類問題，如EG2、PM、MinCost等;另一類是通過集成學(xué)習(xí)的方式來對樣本進(jìn)行代價(jià)敏感分類，如MetaCost、AdaBoost等。第一類算法的優(yōu)點(diǎn)是執(zhí)行效率非常高，而且具有較好的可理解性。第二類算法的優(yōu)點(diǎn)是對樣例進(jìn)行分類時往往能得到更少的總代價(jià)，或者更高的分類準(zhǔn)確度，但是這類算法執(zhí)行時的時間和空間復(fù)雜度較第一類算法卻高出了許多。這兩類算法有一個共同的缺點(diǎn)，就是沒有考慮到在分類過程中樣例的某個屬性的取值為離群值，或者連續(xù)型屬性離

3、散化過程中存在模糊性的情況對分類結(jié)果造成的糟糕的影響。
　　針對現(xiàn)有的第一類算法的特點(diǎn)，本文提出了相關(guān)的改進(jìn)方法:(1)針對二分類和多類問題，本文分別提出了一種基于評分策略的代價(jià)敏感決策樹，記為SECSDT和SECSDT_MC。該算法在模型建立階段充分考慮了代價(jià)因素和分類準(zhǔn)確度因素之間的關(guān)系，分別對這兩類因素進(jìn)行評分來選擇分裂屬性。(2)在分類階段，利用置信區(qū)間來識別樣例中某屬性的取值是否為離群值，或者離散化過程中可能出現(xiàn)模糊性的