求解支持向量機(jī)的若干優(yōu)化算法的研究.pdf

1、支持向量機(jī)是一種新的機(jī)器學(xué)習(xí)方法，近年來取得了長(zhǎng)足的發(fā)展，并已廣泛應(yīng)用于手寫數(shù)字識(shí)別、人臉識(shí)別、文本分類、回歸預(yù)測(cè)、時(shí)間序列分析等領(lǐng)域。設(shè)計(jì)實(shí)現(xiàn)該學(xué)習(xí)方法的有效優(yōu)化算法是該領(lǐng)域?qū)W者研究的重點(diǎn)。
　　本文首先分別對(duì)支持向量分類機(jī)和支持向量回歸機(jī)的模型參數(shù)選擇進(jìn)行了研究，分析了高斯核函數(shù)和相關(guān)參數(shù)對(duì)支持向量機(jī)分類和回歸效果以及推廣能力的影響，引入了利用網(wǎng)格搜索法配合k-折交叉驗(yàn)證的模型參數(shù)選擇搜索算法，在理論分析的基礎(chǔ)上進(jìn)行了數(shù)值實(shí)驗(yàn)

2、，取得了較好的效果。
　　增量學(xué)習(xí)一直是近年來研究的熱點(diǎn)之一，它的優(yōu)點(diǎn)在于，學(xué)習(xí)過程中能自動(dòng)舍棄無用的樣本，減小訓(xùn)練集，節(jié)約存儲(chǔ)成本。經(jīng)典或標(biāo)準(zhǔn)的SVM算法并不直接具有增量學(xué)習(xí)的能力，但其理論體系中的支持向量概念對(duì)于增量學(xué)習(xí)算法的構(gòu)建具有十分重要的意義?；诟倪M(jìn)的SOR-SVM算法求解SVM分類問題的快速有效性，本文提出了適合改進(jìn)的SOR-SVM的在線增量學(xué)習(xí)算法和成批增量學(xué)習(xí)算法，通過對(duì)KKT條件的分析和利用改進(jìn)的SOR-SVM

3、算法結(jié)構(gòu)的特殊性，在算法的執(zhí)行過程中新增樣本后的求解過程利用了增量前原數(shù)據(jù)集已求得的結(jié)果進(jìn)行更新，降低了計(jì)算量，提高了運(yùn)行效率。數(shù)值實(shí)驗(yàn)表明新的增量學(xué)習(xí)算法是有效的。
　　與分類問題類似，本文將改進(jìn)的SOR-SVR算法推廣到了增量學(xué)習(xí)上，提出了基于改進(jìn)的SOR-SVR的在線增量算法和成批增量算法，通過對(duì)KKT條件的分析和利用改進(jìn)的SOR-SVR算法結(jié)構(gòu)的特殊性，在算法的執(zhí)行過程中新增樣本后的求解過程利用了增量前原數(shù)據(jù)集已求得的結(jié)果