精確增量式支持向量機(jī)的研究與應(yīng)用.pdf

1、自20世紀(jì)90年代中期由Vapnik等人提出支持向量機(jī)(SVMs)，由于其具有通用性、魯棒性以及良好推廣性等特點(diǎn)，已經(jīng)成為解決分類、回歸等統(tǒng)計(jì)學(xué)習(xí)問(wèn)題一種流行的技術(shù)，并廣泛應(yīng)用于數(shù)據(jù)挖掘、模式識(shí)別以及生物信息學(xué)等領(lǐng)域。然而在實(shí)際應(yīng)用中，數(shù)據(jù)通常是在線環(huán)境下增量提供的(例如信息檢索、協(xié)同過(guò)濾、航班延誤預(yù)警等)，這時(shí)批處理算法由于不具有實(shí)時(shí)性而通常會(huì)失效，增量式算法為解決該類問(wèn)題提供了一種可行的途徑。
　　 2001年，Cauwen

2、berghs和Poggio首次提出了一個(gè)精確有效的增量式支持向量機(jī)算法(C&P算法)，本文將以C&P算法為研究對(duì)象展開(kāi)深入的研究，致力于完善C&P算法在理論分析與算法擴(kuò)展方面(v支持向量機(jī)，排列支持向量機(jī))的工作，并應(yīng)用C&P算法思想解決v支持向量回歸機(jī)的解路徑問(wèn)題。本文取得的創(chuàng)新研究成果如下：
　　 (1)對(duì)于標(biāo)準(zhǔn)的C&P算法，探討了算法每次迭代的可行性，并證明了經(jīng)過(guò)有限步迭代后該算法必將收斂于最優(yōu)解。
　　 (2)對(duì)

3、于標(biāo)準(zhǔn)的v支持向量分類機(jī)，首先給出了一種修改了的問(wèn)題表示形式，在此基礎(chǔ)上，提出一種新的增量式算法。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)說(shuō)明了該算法能夠盡量避開(kāi)不可行的更新路徑，并且在有限步迭代后成功地收斂到最優(yōu)解，在高斯核上獲得更快的收斂速度，比批處理算法效率更高。
　　 (3)在根據(jù)最大化間隔原則得出的一個(gè)排列問(wèn)題表達(dá)形式的基礎(chǔ)上，提出了一個(gè)新的增量式算法。該增量式算法包括兩個(gè)步驟：第一步為松弛的絕緣增量調(diào)整；第二步為嚴(yán)格的恢復(fù)調(diào)整。理論分析

4、可以證明通過(guò)這兩個(gè)步驟，該增量式算法盡可能地避開(kāi)不可行更新路徑，并且在有限步后收斂到問(wèn)題的最優(yōu)解。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)也說(shuō)明了本文提出的問(wèn)題表達(dá)形式和由Shashua和Levin提出的兩個(gè)問(wèn)題表達(dá)形式有相似的預(yù)測(cè)精度，而該增量式算法在高斯核上有較快的收斂速度。
　　 (4)對(duì)于標(biāo)準(zhǔn)的v支持向量回歸機(jī)，首先給出了一種修改了的問(wèn)題表示形式，在此基礎(chǔ)上，提出了一種新的v解路徑算法，該算法能針對(duì)參數(shù)v刻畫(huà)出所有對(duì)應(yīng)的解。實(shí)驗(yàn)和理論分析說(shuō)