基于加權(quán)增量的支持向量機(jī)分類算法研究.pdf

1、支持向量機(jī)(Support Vector Machines，簡稱SVM)是由Vapnik等人于上世紀(jì)末提出的一種新的機(jī)器學(xué)習(xí)技術(shù)，它是統(tǒng)計(jì)學(xué)習(xí)理論的核心部分，具有全局最優(yōu)、結(jié)構(gòu)簡單、推廣能力強(qiáng)等優(yōu)點(diǎn)，目前在模式識別、信號處理、控制、數(shù)據(jù)挖掘等多個(gè)領(lǐng)域都得到了廣泛的應(yīng)用。但是經(jīng)典的支持向量機(jī)不支持增量學(xué)習(xí)，在大規(guī)模數(shù)據(jù)的情況下，訓(xùn)練速度會下降，因此提高學(xué)習(xí)算法的分類性能對SVM增量學(xué)習(xí)的研究具有重要的理論意義和實(shí)用價(jià)值。 本文主要

2、的研究工作是，在現(xiàn)有支持向量機(jī)算法的基礎(chǔ)上，尋找一種新的基于加權(quán)增量的支持向量機(jī)學(xué)習(xí)算法，使得該算法在大規(guī)模數(shù)據(jù)樣本的情況下，仍然能取得較好的分類性能。該算法的改進(jìn)主要體現(xiàn)在以下兩個(gè)方面：一是由于噪聲和其他多種不確定因素的存在，使得某些樣本嚴(yán)重偏離所屬的類別，而現(xiàn)有的增量算法在處理樣本時(shí)要求訓(xùn)練數(shù)據(jù)彼此獨(dú)立、且具有相同的分布規(guī)律，對所有樣本同等對待，這顯然對于正常分布的樣本不公平，因此應(yīng)該采用一種處理加權(quán)分布信息的識別算法；二是在增量學(xué)

3、習(xí)過程中，研究了支持向量機(jī)尋優(yōu)問題的KKT條件與樣本分布之間的關(guān)系，在保留原有支持向量的基礎(chǔ)上，觀察到違背KKT條件、以及滿足KKT條件且與原分類面距離較近的這兩類樣本，在新一輪訓(xùn)練之后轉(zhuǎn)化為支持向量的可能性比較大，算法通過選取這些樣本既有效地保留了樣本的類別信息，也及時(shí)剔除了對后續(xù)分類影響不大的樣本，提高了算法處理大規(guī)模數(shù)據(jù)量的能力。 論文各章節(jié)的主要內(nèi)容概括如下： 第l章介紹了支持向量機(jī)的研究背景、研究現(xiàn)狀，并給出了

4、本文的研究內(nèi)容； 第2章對支持向量機(jī)算法的理論知識進(jìn)行了概述，描述并比較了目前研究與應(yīng)用較多的三種變形算法，為本文后續(xù)的研究方向與內(nèi)容進(jìn)行鋪墊。 第3章研究了增量式支持向量機(jī)算法的原理，對現(xiàn)有的三種比較典型的增量式支持向量機(jī)算法進(jìn)行了分析和比較。 第4章總結(jié)了現(xiàn)有增量算法的一些不足，在這個(gè)基礎(chǔ)上提出了一種新的基于加權(quán)增量的支持向量機(jī)分類算法，并在標(biāo)準(zhǔn)數(shù)據(jù)集上對該算法性能進(jìn)行了測試。 最后第5章總結(jié)了本文的