代價敏感決策樹算法研究.pdf

1、代價敏感學習是近幾年數(shù)據(jù)挖掘領域的一個熱門研究方向?；诖鷥r敏感學習的分類算法的目標是進行分類時使得樣例的誤分類代價、屬性檢測代價等多種代價因素的總和最少。決策樹作為一種經(jīng)典的分類算法，其模型具有較好的可理解性、程序運行時較低的時間和空間復雜度、分類時較高的準確率等優(yōu)點。正是由于決策樹的諸多優(yōu)點，近些年來不少學者嘗試將決策樹分類算法應用于代價敏感學習問題中。
　　現(xiàn)有的代價敏感決策樹可以分為兩類，一類是建立單一決策樹模型來解決代價

2、敏感分類問題，如EG2、PM、MinCost等;另一類是通過集成學習的方式來對樣本進行代價敏感分類，如MetaCost、AdaBoost等。第一類算法的優(yōu)點是執(zhí)行效率非常高，而且具有較好的可理解性。第二類算法的優(yōu)點是對樣例進行分類時往往能得到更少的總代價，或者更高的分類準確度，但是這類算法執(zhí)行時的時間和空間復雜度較第一類算法卻高出了許多。這兩類算法有一個共同的缺點，就是沒有考慮到在分類過程中樣例的某個屬性的取值為離群值，或者連續(xù)型屬性離

3、散化過程中存在模糊性的情況對分類結(jié)果造成的糟糕的影響。
　　針對現(xiàn)有的第一類算法的特點，本文提出了相關的改進方法:(1)針對二分類和多類問題，本文分別提出了一種基于評分策略的代價敏感決策樹，記為SECSDT和SECSDT_MC。該算法在模型建立階段充分考慮了代價因素和分類準確度因素之間的關系，分別對這兩類因素進行評分來選擇分裂屬性。(2)在分類階段，利用置信區(qū)間來識別樣例中某屬性的取值是否為離群值，或者離散化過程中可能出現(xiàn)模糊性的