基于人工神經網絡的分類方法研究及其在個人信用評估中的應用.pdf

1、當前人工神經網絡(Artificial Neural Network,.ANN)的研究正處于新一輪的再認識中,除了改進算法外,對基礎理論和工作機理的深入解釋均有待突破.在對神經網絡分類方法的研究探討基礎上,本文側重討論了一種新的ANN分類方法--支持向量機(Support Vector Machine,SVM),并將其應用于銀行個人信用評估領域中,建立了較準確的分類預測模型. 支持向量機是由Vapnik<'[1]>于1995年提

2、出的針對分類和回歸問題的統(tǒng)計學習理論,是在高維特征空間使用線性函數(shù)假設空間的學習系統(tǒng).近年來,其理論研究和算法實現(xiàn)方面都取得了突破性進展,開始成為克服維數(shù)災難和過學習等傳統(tǒng)困難的有力手段.由于SVM方法具有許多引人注目的優(yōu)點和有前途的實驗性能,越來越受重視.該技術已成為機器學習研究領域中的熱點,如人臉識別、手寫體數(shù)字識別和網頁分類等,并取得了理想效果. 隨著我國商業(yè)銀行消費信貸業(yè)務的展開,個人信用得到了空前的重視.因此個人信用評

3、估具有廣泛的應用前景,國內外學者對此做了大量的研究工作,提出了很多預處理和模式識別的算法,大大提高了預測精度.但到目前為止,個人信用評估預測精度還有待提高,樣本混疊、核函數(shù)核參數(shù)選擇等問題尚有待解決. 為了提高個人信用評估的精度,本文將改進的支持向量機應用于個人信用評估,開發(fā)了MULTIEDIT-SVM-KNN軟件系統(tǒng).系統(tǒng)在總結前人工作的基礎上,重點研究影響SVM 分類法性能的各種因子.把這一選擇最佳因子的方法流程化,驗證了改

4、進的支持向量機在個人信用評估中的有效性.此外,本文在評估過程中提出了先用重復剪輯近鄰法(MULTIEDIT)修剪樣本,然后用SVM-KNN分類器分類的方法,期望該方法能對提高基于支持向量機的個人信用評估精度起到推動作用.本文主要工作體現(xiàn)在以下方面:(1)對神經網絡分類方法進行分析比較. 著重對BP算法、RBF網絡、SVM三種神經網絡方法進行了比較分析,為個人信用評估選擇適用的分類方法.最終本文側重選擇SvM方法.(2)對訓練算法

5、進行比較分析. 對三種主流訓練算法:Chunking算法,Osuna算法和SMO算法,在速度、精度和內存節(jié)省等方面進行對比.相比之下,SMO算法速度較快,精度較高,比較節(jié)省內存,且適合大規(guī)模問題的求解.因此,本文選擇該算法作為SVM的訓練算法. (3)針對國內商業(yè)銀行個人信用數(shù)據(jù)庫數(shù)據(jù)特點,討論了個人信用評估過程中的數(shù)據(jù)準備問題,提出引用主成分分析方法優(yōu)化個人信用指標. (4)提出了MULTIEDIT-SVM-K

6、NN方法,優(yōu)化SVM分類模型. 在對個人信用評估數(shù)據(jù)分類過程中,發(fā)現(xiàn)兩類訓練樣本點集?；殳B較嚴重,使得支持向量分類機的分類面由于過分復雜反而降低了推廣能力、樣本點和最優(yōu)分類超平面的距離很近時,不能很好的分類等實際問題,提出一種首先使用重復剪輯近鄰法對訓練集修剪,然后在分類階段計算待分類樣本點和最優(yōu)分類超平面的距離,用SVM-KNN分類器分類的MULTIEDIT-SVM-KNN方法,從而優(yōu)化了支持向量機分類模型. (5)驗

7、證:MULTIEDIT-SVM-KNN方法用于個人信用評估的有效性. 鑒于SVM的優(yōu)點,將其應用于個人信用評估來提高預測精度,并開發(fā)了 MULTIEDIT-SVM-KNN軟件系統(tǒng).對具體的信用數(shù)據(jù)庫數(shù)據(jù)進行數(shù)據(jù)預處理、指標優(yōu)化、格式轉換、歸一化、修剪樣本集、利用網格搜索和交互檢驗功能實現(xiàn)最佳核函數(shù)與核參數(shù)的選擇,最后將各方面選出的最優(yōu)因子用于訓練,使用SVM-KNN方法分類,完成預測.將程序結果與使用其他技術對同一數(shù)據(jù)庫數(shù)據(jù)的預