基于核函數(shù)的機(jī)器學(xué)習(xí)方法研究.pdf

1、以往的工作中,大部分的研究和應(yīng)用都是基于 L1-軟間隔支持向量機(jī)方法的.該文首先較為系統(tǒng)地討論了 L2-軟間隔支持向量機(jī)方法,探討了它與 L1-軟間隔支持向量機(jī)方法相區(qū)別的一些性質(zhì),如支持向量分布和幾何特性等.在實現(xiàn)算法上,該文針對 L2-軟間隔支持向量機(jī)方法提出了一種基于積極集法的快速支持向量機(jī)訓(xùn)練算法,該算法采用了分解迭代的策略,使用積極集方法來求解二次規(guī)劃子問題,有效地簡化了支持向量機(jī)的實現(xiàn)步驟.在多個標(biāo)準(zhǔn)數(shù)據(jù)集上的數(shù)值實驗表明,

2、該算法對正則參數(shù)C<''>的變化不敏感,且在正則參數(shù)取值較大C<''>>10時,新算法所需的訓(xùn)練時間比經(jīng)典的 SVM<'light>算法要少的多,而得到的預(yù)測準(zhǔn)確率可以與基于 L1-軟間隔支持向量機(jī)的算法相比擬.此外,該文從幾何直觀角度研究了 L2-軟間隔支持向量機(jī)方法,改進(jìn)了Keerthi等人提出的最小模算法.使得該算法在所需計算量上可以與近來Keerthi等人提出的最近點(diǎn)對算法(即NPA算法)相比擬,但在編碼實現(xiàn)上要簡單得多.該文進(jìn)

3、一步研究了大間隔分類方法.將 L2-軟間隔方法與Kernel-Adatron算法相結(jié)合,改進(jìn)了Kernel-Adatron算法,使其不再受樣本在特征空間中是線性可分的假設(shè)的約束,從而在特征空間中仍然得到統(tǒng)計力學(xué)對其收斂速度的理論保證.同時改進(jìn)了Minover方法,給出了一種加快Kernel-Adatron算法收斂速度的新方法.最后,該文研究了一種基于加權(quán)Parzen窗的數(shù)據(jù)聚類方法.該方法放寬了Parzen窗的權(quán)系數(shù)限制,采用加權(quán)Par