支持向量機訓(xùn)練算法研究.pdf

1、支持向量機(SVM)是在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的,它在很大程度上解決了以往的機器學(xué)習(xí)模型的選擇與過學(xué)習(xí)、非線性、維數(shù)災(zāi)難、局部極小點等問題,在20世紀90年代以來受到很大重視,目前已經(jīng)廣泛用于解決模式分類和回歸問題,是當(dāng)前機器學(xué)習(xí)的研究熱點. SVM方法的計算復(fù)雜度是由訓(xùn)練樣本的數(shù)目決定的,在大訓(xùn)練樣本情況下,SVM的計算量是比較大的.這使得SVM便面臨著維數(shù)災(zāi)難,甚至?xí)捎趦?nèi)存的限制導(dǎo)致無法訓(xùn)練,從而無法應(yīng)用SVM進行模

2、式分類和回歸,所以如何訓(xùn)練大樣本集下的SVM便成為SVM實際應(yīng)用的瓶頸問題.本文主要對支持向量機大規(guī)模數(shù)據(jù)集訓(xùn)練算法進行研究. 針對SVM在大樣本集訓(xùn)練時存在的問題,本文研究支持向量機訓(xùn)練中樣本集分布的幾何特征,在不影響分類性能的前提下,提出一種適合大樣本集訓(xùn)練的Quasi Ch00sing(QC)算法.該算法能剔除大部分與訓(xùn)練結(jié)果無關(guān)的樣本,降低了訓(xùn)練復(fù)雜性,實驗表明在不降低泛化精度的前提下,能有效加快訓(xùn)練速度. 在Q

3、uasi Choosing算法的基礎(chǔ)上進一步提出了一種增量學(xué)習(xí)算法--OC-ISVM算法.該算法能充分利用歷史訓(xùn)練信息來提高訓(xùn)練精度,同時能對增量樣本集進行精簡.實驗表明,QC-ISVM算法訓(xùn)練精度接近于用全部訓(xùn)練集進行訓(xùn)練的精度,當(dāng)增量樣本數(shù)比較多時,能夠顯著降低訓(xùn)練時間. 在一些應(yīng)用領(lǐng)域,如web文本分類、金融時間序列分析等,數(shù)據(jù)集常是海量的,并且每天都有大量的數(shù)據(jù)增加進來,本文提出的算法為SVM在這些領(lǐng)域的應(yīng)用提供了一個有