基于可擴展的支持向量機分類算法及在信用評級中的應(yīng)用.pdf

1、支持向量機作為一種基于統(tǒng)計學(xué)習(xí)理論的新型機器學(xué)習(xí)方法，較好地解決了非線性、高維數(shù)、小樣本等實際問題，是機器學(xué)習(xí)領(lǐng)域新的研究熱點。但是目前來說支持向量機具有魯棒性較差、學(xué)習(xí)效率較低、分布式學(xué)習(xí)通信量大等缺陷。因此，本文針對支持向量機進行改進研究，包括在原有二叉樹支持向量機基礎(chǔ)上引入后驗概率、在引入后驗概率的基礎(chǔ)上將支持向量機向多類分類問題進行擴展、針對對等傳感器網(wǎng)絡(luò)的完全分布式的支持向量機學(xué)習(xí)，并在企業(yè)信用評級系統(tǒng)中進行應(yīng)用研究。具體來說

2、，本文的主要工作和創(chuàng)新點總結(jié)如下:
　　 (1)后驗概率支持向量機方法對孤立點和噪聲具有魯棒性，并且可以減少支持向量的數(shù)量，從而降低了計算復(fù)雜度。因此，針對最近提出的快速分類算法c-BTS，引入樣本的后驗概率，提出了一種基于后驗概率的SVM決策樹算法(P2BTS)。實驗結(jié)果證明，P2BTS比c-BTS的分類精度更高，且基于后驗概率支持向量機(PPSVM)的P2BTS所需的二類分類器個數(shù)明顯比c-BTS少，這在一定程度上減少了P2

3、BTS分類決策的時間和比較的次數(shù)，提高了分類效率。
　　 (2)在考慮Fisher比可分性測度的基礎(chǔ)上，將PPSVM擴展到多類分類問題，提出兩種決策樹結(jié)構(gòu)的PPSVM算法，分別為多對多PPSVM決策樹和一對多PPSVM決策樹。性能分析表明，無論是多對多方法還是一對多方法，兩種樹都包含n－1個PPSVM分類器。兩種算法的平均收斂率分別為O(log2n)和O（（n?。?）/n）。實驗表明，所提出的算法在提高分類精度的同時，減少了所需

4、的支持向量數(shù)目和二類分類器個數(shù)，提高了分類效率。
　　 (3)針對點對點傳感器網(wǎng)絡(luò)，基于平均一致性算法，提出了一種完全分布式的可擴展支持向量機分類算法(DS2VM)。該算法的主要優(yōu)勢是其訓(xùn)練過程僅需要局部智能體自身的樣本，然后只與其相鄰節(jié)點進行通信就能對全局分類器達到網(wǎng)絡(luò)范圍的一致性。由于所提出的算法僅需相鄰節(jié)點之間的信息交換，因此是規(guī)?？蓴U展的。另外，提出了一種新的平均一致性，并對其收斂性和穩(wěn)定性進行分析。通過對UCI機器學(xué)習(xí)

5、數(shù)據(jù)庫的實驗分析，證明了所提出的DS2VM分類算法非常接近集中式最優(yōu)分類精度，且通信代價較傳統(tǒng)分布式SVM算法大大減小。
　　 (4)改進算法在信用評級系統(tǒng)中的應(yīng)用。巴塞爾新資本協(xié)議希望并鼓勵各銀行發(fā)展內(nèi)部信用評級系統(tǒng)，而信用評級本質(zhì)上是一個非線性、小樣本問題，樣本往往是含噪聲或者孤立點的，并且已有樣本不可避免存在模糊或錯誤類標。因此，將以上改進的SVM分類方法應(yīng)用在信用評級系統(tǒng)中，就是十分自然的想法了。本文建立了基于改進SVM