基于人工神經(jīng)網(wǎng)絡(luò)的分類方法研究及其在個(gè)人信用評(píng)估中的應(yīng)用.pdf

1、當(dāng)前人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,.ANN)的研究正處于新一輪的再認(rèn)識(shí)中,除了改進(jìn)算法外,對(duì)基礎(chǔ)理論和工作機(jī)理的深入解釋均有待突破.在對(duì)神經(jīng)網(wǎng)絡(luò)分類方法的研究探討基礎(chǔ)上,本文側(cè)重討論了一種新的ANN分類方法--支持向量機(jī)(Support Vector Machine,SVM),并將其應(yīng)用于銀行個(gè)人信用評(píng)估領(lǐng)域中,建立了較準(zhǔn)確的分類預(yù)測(cè)模型. 支持向量機(jī)是由Vapnik<'[1]>于1995年提

2、出的針對(duì)分類和回歸問(wèn)題的統(tǒng)計(jì)學(xué)習(xí)理論,是在高維特征空間使用線性函數(shù)假設(shè)空間的學(xué)習(xí)系統(tǒng).近年來(lái),其理論研究和算法實(shí)現(xiàn)方面都取得了突破性進(jìn)展,開(kāi)始成為克服維數(shù)災(zāi)難和過(guò)學(xué)習(xí)等傳統(tǒng)困難的有力手段.由于SVM方法具有許多引人注目的優(yōu)點(diǎn)和有前途的實(shí)驗(yàn)性能,越來(lái)越受重視.該技術(shù)已成為機(jī)器學(xué)習(xí)研究領(lǐng)域中的熱點(diǎn),如人臉識(shí)別、手寫體數(shù)字識(shí)別和網(wǎng)頁(yè)分類等,并取得了理想效果. 隨著我國(guó)商業(yè)銀行消費(fèi)信貸業(yè)務(wù)的展開(kāi),個(gè)人信用得到了空前的重視.因此個(gè)人信用評(píng)

3、估具有廣泛的應(yīng)用前景,國(guó)內(nèi)外學(xué)者對(duì)此做了大量的研究工作,提出了很多預(yù)處理和模式識(shí)別的算法,大大提高了預(yù)測(cè)精度.但到目前為止,個(gè)人信用評(píng)估預(yù)測(cè)精度還有待提高,樣本混疊、核函數(shù)核參數(shù)選擇等問(wèn)題尚有待解決. 為了提高個(gè)人信用評(píng)估的精度,本文將改進(jìn)的支持向量機(jī)應(yīng)用于個(gè)人信用評(píng)估,開(kāi)發(fā)了MULTIEDIT-SVM-KNN軟件系統(tǒng).系統(tǒng)在總結(jié)前人工作的基礎(chǔ)上,重點(diǎn)研究影響SVM 分類法性能的各種因子.把這一選擇最佳因子的方法流程化,驗(yàn)證了改

4、進(jìn)的支持向量機(jī)在個(gè)人信用評(píng)估中的有效性.此外,本文在評(píng)估過(guò)程中提出了先用重復(fù)剪輯近鄰法(MULTIEDIT)修剪樣本,然后用SVM-KNN分類器分類的方法,期望該方法能對(duì)提高基于支持向量機(jī)的個(gè)人信用評(píng)估精度起到推動(dòng)作用.本文主要工作體現(xiàn)在以下方面:(1)對(duì)神經(jīng)網(wǎng)絡(luò)分類方法進(jìn)行分析比較. 著重對(duì)BP算法、RBF網(wǎng)絡(luò)、SVM三種神經(jīng)網(wǎng)絡(luò)方法進(jìn)行了比較分析,為個(gè)人信用評(píng)估選擇適用的分類方法.最終本文側(cè)重選擇SvM方法.(2)對(duì)訓(xùn)練算法

5、進(jìn)行比較分析. 對(duì)三種主流訓(xùn)練算法:Chunking算法,Osuna算法和SMO算法,在速度、精度和內(nèi)存節(jié)省等方面進(jìn)行對(duì)比.相比之下,SMO算法速度較快,精度較高,比較節(jié)省內(nèi)存,且適合大規(guī)模問(wèn)題的求解.因此,本文選擇該算法作為SVM的訓(xùn)練算法. (3)針對(duì)國(guó)內(nèi)商業(yè)銀行個(gè)人信用數(shù)據(jù)庫(kù)數(shù)據(jù)特點(diǎn),討論了個(gè)人信用評(píng)估過(guò)程中的數(shù)據(jù)準(zhǔn)備問(wèn)題,提出引用主成分分析方法優(yōu)化個(gè)人信用指標(biāo). (4)提出了MULTIEDIT-SVM-K

6、NN方法,優(yōu)化SVM分類模型. 在對(duì)個(gè)人信用評(píng)估數(shù)據(jù)分類過(guò)程中,發(fā)現(xiàn)兩類訓(xùn)練樣本點(diǎn)集?；殳B較嚴(yán)重,使得支持向量分類機(jī)的分類面由于過(guò)分復(fù)雜反而降低了推廣能力、樣本點(diǎn)和最優(yōu)分類超平面的距離很近時(shí),不能很好的分類等實(shí)際問(wèn)題,提出一種首先使用重復(fù)剪輯近鄰法對(duì)訓(xùn)練集修剪,然后在分類階段計(jì)算待分類樣本點(diǎn)和最優(yōu)分類超平面的距離,用SVM-KNN分類器分類的MULTIEDIT-SVM-KNN方法,從而優(yōu)化了支持向量機(jī)分類模型. (5)驗(yàn)

7、證:MULTIEDIT-SVM-KNN方法用于個(gè)人信用評(píng)估的有效性. 鑒于SVM的優(yōu)點(diǎn),將其應(yīng)用于個(gè)人信用評(píng)估來(lái)提高預(yù)測(cè)精度,并開(kāi)發(fā)了 MULTIEDIT-SVM-KNN軟件系統(tǒng).對(duì)具體的信用數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理、指標(biāo)優(yōu)化、格式轉(zhuǎn)換、歸一化、修剪樣本集、利用網(wǎng)格搜索和交互檢驗(yàn)功能實(shí)現(xiàn)最佳核函數(shù)與核參數(shù)的選擇,最后將各方面選出的最優(yōu)因子用于訓(xùn)練,使用SVM-KNN方法分類,完成預(yù)測(cè).將程序結(jié)果與使用其他技術(shù)對(duì)同一數(shù)據(jù)庫(kù)數(shù)據(jù)的預(yù)