原始空間中支持向量機(jī)若干問題的研究.pdf

1、支持向量機(jī)成為一種主要的機(jī)器學(xué)習(xí)技術(shù)已經(jīng)有十多年了，然而它的大部分學(xué)習(xí)算法都是在對偶空間針對其對偶問題提出的。近年來的研究表明，直接在原始空間對支持向量機(jī)的原始問題進(jìn)行求解也是訓(xùn)練支持向量機(jī)的一種有效途徑。隨著人們在原始空間對支持向量機(jī)研究的深入，實(shí)際應(yīng)用中碰到的各種問題也開始在原始空間進(jìn)行求解，如半監(jiān)督學(xué)習(xí)問題等。但總體來說，支持向量機(jī)在原始空間中的研究還不是很多，也不夠完善。因此，本文重點(diǎn)研究了原始空間中支持向量機(jī)分類算法的以下四個

2、問題。
　　 1.針對光滑支持向量機(jī)中現(xiàn)有的光滑函數(shù)逼近精度不高的問題，將正號函數(shù)變形并展開為無窮多項(xiàng)式級數(shù)，由此得到了一族多項(xiàng)式光滑函數(shù)，并證明了這類光滑函數(shù)的優(yōu)良性能，它既能滿足任意階光滑的要求，也能達(dá)到任意給定的逼近精度。最后將得到的多項(xiàng)式光滑函數(shù)用于求解廣義支持向量機(jī)。
　　 2.半監(jiān)督支持向量機(jī)利用大量的未標(biāo)記樣本和少量的標(biāo)記樣本共同學(xué)習(xí)以改進(jìn)其泛化性能，最后得到一個非凸優(yōu)化問題，對其優(yōu)化采取兩種策略：組合優(yōu)化

3、和連續(xù)優(yōu)化。組合優(yōu)化的具體方法是給出了一個自訓(xùn)練半監(jiān)督支持向量機(jī)分類算法，它的子程序是用前面得到的多項(xiàng)式光滑函數(shù)在原始空間求解標(biāo)準(zhǔn)支持向量機(jī)。接下來用連續(xù)優(yōu)化的方式給出了一個多項(xiàng)式光滑的半監(jiān)督支持向量機(jī)分類算法，給出的多項(xiàng)式函數(shù)有嚴(yán)格的理論基礎(chǔ)，并且在樣本的高密度區(qū)逼近精度高，而當(dāng)逼近精度低時，則出現(xiàn)在樣本的低密度區(qū)。
　　 3.直接方法是一類常用的無約束優(yōu)化技術(shù)，簡便實(shí)用，它和之前用于支持向量機(jī)的循環(huán)算法不同，不是一次更新w的

4、所有分量，而是每次通過解一個單變量的子問題來更新w的一個分量。本文分別用Hooke and Jeeves模式搜索法、Rosenbrock轉(zhuǎn)軸法和Powell方向加速法求解線性支持向量機(jī)，并分析了算法的復(fù)雜性。
　　 4.支持向量機(jī)采用的線性Hinge損失函數(shù)對噪聲樣本產(chǎn)生的損失沒有限制，這是支持向量機(jī)對噪聲敏感的根本原因。由于特殊的損失函數(shù)能有效抑制噪聲產(chǎn)生的損失，本文據(jù)此給出了一個全新的雙曲正切損失函數(shù)，并在此基礎(chǔ)上給出了相應(yīng)