基于SVM的高不平衡分類技術(shù)研究及其在電信業(yè)的應(yīng)用.pdf

1、SVM(Support Vector Machine)是基于統(tǒng)計(jì)學(xué)習(xí)理論的學(xué)習(xí)機(jī)器，在分類問(wèn)題的處理中具有優(yōu)秀的性能。不平衡分類問(wèn)題是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要研究方向，并且在實(shí)際商業(yè)應(yīng)用中不平衡數(shù)據(jù)集往往具有高不平衡程度、嚴(yán)重的類重疊和噪聲、高維、海量以及涉及高不平衡多分類問(wèn)題等特點(diǎn)，對(duì)分類器的分類性能造成極大影響。論文從實(shí)際電信商業(yè)智能問(wèn)題出發(fā)，旨在解決SVM在不平衡分類中的不足，提出更為有效的解決方法，使SVM能夠適用于具有

2、高不平衡特性的商業(yè)智能應(yīng)用。通過(guò)Benchmark數(shù)據(jù)集和實(shí)際電信數(shù)據(jù)集中的仿真實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性和優(yōu)越性。在上述研究結(jié)果的基礎(chǔ)上，論文設(shè)計(jì)并實(shí)現(xiàn)了電信業(yè)公眾客戶防欠費(fèi)欺詐商業(yè)智能系統(tǒng)和電信防欠費(fèi)欺詐智能催繳派單系統(tǒng)，同時(shí)結(jié)合實(shí)際數(shù)據(jù)挖掘項(xiàng)目經(jīng)驗(yàn)，提出一個(gè)針對(duì)電信行業(yè)的數(shù)據(jù)挖掘方法論。
　　 論文的主要研究?jī)?nèi)容如下：
　　 Ⅰ.針對(duì)高不平衡程度和類重疊同時(shí)存在于數(shù)據(jù)分布時(shí)分類困難的問(wèn)題，提出SVM-HIO(SV

3、Mmodelingfor Highly Imbalanced and Overlappingclassification)算法。SVM-HIO算法采用分類超平面偏移策略使得能夠在某個(gè)特征空間識(shí)別出非重疊樣本并訓(xùn)練元模型；通過(guò)核空間輪換策略，SVM-HIO算法在多個(gè)核空間進(jìn)行學(xué)習(xí)，進(jìn)而能夠識(shí)別出更多特征空間的非重疊樣本；利用元模型的結(jié)合最終SVM-HIO算法建立一個(gè)非線性模型而不是之前SVM的線性模型，建立的非線性模型能夠?qū)⑷可贁?shù)類預(yù)測(cè)

4、出，同時(shí)保證多數(shù)類的誤分代價(jià)最小。
　　 Ⅱ.針對(duì)現(xiàn)有高不平衡多分類算法，少數(shù)類的分類性能和識(shí)別能力較差的問(wèn)題，提出一種二又樹(shù)樹(shù)結(jié)構(gòu)建立標(biāo)準(zhǔn)-基于不平衡度的類間可分離性，在此基礎(chǔ)上提出一種基于二叉樹(shù)的SVM高不平衡多分類算法MCI-SVM(Multi-Classificationbasedhighlylmbalanced SVM)。在多分類建模中，MCI-SVM算法基于少數(shù)類的重要程度，同時(shí)結(jié)合類間可分離性的思想，首先識(shí)別多分類

5、問(wèn)題中的重要類簇，降低重要類別的誤差累積；在多數(shù)類簇和少數(shù)類簇的建模節(jié)點(diǎn)，利用代價(jià)敏感學(xué)習(xí)策略減少由于高不平衡性引起的分類性能降低；同時(shí)，在各個(gè)簇中將分離性高的類別優(yōu)先分離。提出的MCI-SVM算法在保證總體分類性能的同時(shí)，能夠減少少數(shù)類的推廣誤差，并顯著提高少數(shù)類的識(shí)別能力。
　　 Ⅲ.針對(duì)在海量高不平衡分類中傳統(tǒng)學(xué)習(xí)算法無(wú)法在有效時(shí)間內(nèi)建立模型以及高不平衡會(huì)導(dǎo)致較差模型精度和少數(shù)類識(shí)別能力的問(wèn)題，提出一種基于(1+ε)近似最

6、小包裹球(MEB)的海量高不平衡分類算法LCI-SVM(LargescaleClassificationbasedhighlyImbalancedSVM)。LCI-SVM算法基于高維空間尋找最小包裹球核心集的思想，將原SVM優(yōu)化問(wèn)題轉(zhuǎn)化為在高維空間尋找最小包裹球問(wèn)題，其訓(xùn)練時(shí)間與樣本維度和大小無(wú)關(guān)，能夠高效地在海量數(shù)據(jù)中建立SVM模型；LCI-SVM算法通過(guò)啟發(fā)式的迭代策略使得分類超平面向多數(shù)類偏移，保證少數(shù)類具有更高的推廣能力；針對(duì)過(guò)

7、擬合問(wèn)題，提出基于知識(shí)的τ近似最佳分類超平面。提出的LCI-SVM算法能夠顯著提高在海量高不平衡數(shù)據(jù)集上的分類性能和少數(shù)類的識(shí)別能力。
　　 Ⅳ.針對(duì)電信業(yè)欠費(fèi)問(wèn)題的商業(yè)需求，設(shè)計(jì)并實(shí)現(xiàn)了電信業(yè)公眾客戶防欠費(fèi)欺詐商業(yè)智能系統(tǒng)和電信防欠費(fèi)欺詐智能催繳派單系統(tǒng)，介紹了該系統(tǒng)功能構(gòu)架和系統(tǒng)結(jié)構(gòu)，詳細(xì)介紹了電信業(yè)公眾客戶防欠費(fèi)欺詐商業(yè)智能系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的過(guò)程，最后給出系統(tǒng)試運(yùn)行后的評(píng)估效果證明該系統(tǒng)能夠有效幫助電信企業(yè)減少由欠費(fèi)造成的經(jīng)