支持向量機(jī)訓(xùn)練算法研究.pdf

1、支持向量機(jī)(SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的,它在很大程度上解決了以往的機(jī)器學(xué)習(xí)模型的選擇與過學(xué)習(xí)、非線性、維數(shù)災(zāi)難、局部極小點(diǎn)等問題,在20世紀(jì)90年代以來受到很大重視,目前已經(jīng)廣泛用于解決模式分類和回歸問題,是當(dāng)前機(jī)器學(xué)習(xí)的研究熱點(diǎn). SVM方法的計(jì)算復(fù)雜度是由訓(xùn)練樣本的數(shù)目決定的,在大訓(xùn)練樣本情況下,SVM的計(jì)算量是比較大的.這使得SVM便面臨著維數(shù)災(zāi)難,甚至?xí)捎趦?nèi)存的限制導(dǎo)致無法訓(xùn)練,從而無法應(yīng)用SVM進(jìn)行模

2、式分類和回歸,所以如何訓(xùn)練大樣本集下的SVM便成為SVM實(shí)際應(yīng)用的瓶頸問題.本文主要對(duì)支持向量機(jī)大規(guī)模數(shù)據(jù)集訓(xùn)練算法進(jìn)行研究. 針對(duì)SVM在大樣本集訓(xùn)練時(shí)存在的問題,本文研究支持向量機(jī)訓(xùn)練中樣本集分布的幾何特征,在不影響分類性能的前提下,提出一種適合大樣本集訓(xùn)練的Quasi Ch00sing(QC)算法.該算法能剔除大部分與訓(xùn)練結(jié)果無關(guān)的樣本,降低了訓(xùn)練復(fù)雜性,實(shí)驗(yàn)表明在不降低泛化精度的前提下,能有效加快訓(xùn)練速度. 在Q

3、uasi Choosing算法的基礎(chǔ)上進(jìn)一步提出了一種增量學(xué)習(xí)算法--OC-ISVM算法.該算法能充分利用歷史訓(xùn)練信息來提高訓(xùn)練精度,同時(shí)能對(duì)增量樣本集進(jìn)行精簡(jiǎn).實(shí)驗(yàn)表明,QC-ISVM算法訓(xùn)練精度接近于用全部訓(xùn)練集進(jìn)行訓(xùn)練的精度,當(dāng)增量樣本數(shù)比較多時(shí),能夠顯著降低訓(xùn)練時(shí)間. 在一些應(yīng)用領(lǐng)域,如web文本分類、金融時(shí)間序列分析等,數(shù)據(jù)集常是海量的,并且每天都有大量的數(shù)據(jù)增加進(jìn)來,本文提出的算法為SVM在這些領(lǐng)域的應(yīng)用提供了一個(gè)有