非平衡數(shù)據(jù)集分類方法研究及其在電信行業(yè)中的應(yīng)用.pdf

1、近年來，非平衡數(shù)據(jù)集分類問題一直是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的研究難點(diǎn)。所謂非平衡數(shù)據(jù)集分類問題，是指訓(xùn)練樣本數(shù)量存在類分布不平衡的模式分類問題。在許多實(shí)際問題中，數(shù)據(jù)集是非平衡的，即某些類的樣本量比其他類少得多。當(dāng)使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法來解決該問題時(shí)，往往會(huì)出現(xiàn)少數(shù)類的預(yù)測準(zhǔn)確率大大低于多數(shù)類的情況，從而導(dǎo)致分類器性能大幅度下降。本論文針對(duì)非平衡數(shù)據(jù)集分類困難的問題，尤其是少數(shù)類識(shí)別困難問題，提出一種新的算法——AdaBoost-SVM-

2、OBMS，該算法結(jié)合集成算法和采用錯(cuò)分樣本點(diǎn)生成新樣本點(diǎn)的過抽樣技術(shù)。同時(shí)，在研究電信數(shù)據(jù)集特點(diǎn)和非平衡數(shù)據(jù)集分類方法的基礎(chǔ)上，針對(duì)電信數(shù)據(jù)挖掘的常用主題——欠費(fèi)挖掘，對(duì)電信欠費(fèi)預(yù)測做了深入的研究和探討。論文的主要研究工作如下：
　　 1.針對(duì)非平衡數(shù)據(jù)集分類問題，本文提出一種新的算法——AdaBoost-SVM-OBMS。該算法結(jié)合boosting算法和基于錯(cuò)分樣本產(chǎn)生新樣本的過抽樣技術(shù)。在新算法中，以支持向量機(jī)為元分類器，每

3、次boosting迭代中標(biāo)記出錯(cuò)分的樣本點(diǎn)，然后在錯(cuò)分樣本點(diǎn)與其近鄰樣本間隨機(jī)產(chǎn)生一定數(shù)量與錯(cuò)分樣本點(diǎn)同一類別的新樣本點(diǎn)。新產(chǎn)生樣本點(diǎn)加入原訓(xùn)練集中重新訓(xùn)練學(xué)習(xí)，以提高分類困難樣本的識(shí)別率。在AUC，F(xiàn)-value和G-mean等3個(gè)不同價(jià)格的評(píng)價(jià)指標(biāo)下，針對(duì)8個(gè)benchmark數(shù)據(jù)集上對(duì)AdaBoost-SVM-OBMS算法進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明了AdaBoost-SVM-OBMS算法在非平衡數(shù)據(jù)集分類中的對(duì)少數(shù)類和多數(shù)類具有較高