基于最優(yōu)化理論的支持向量機(jī)學(xué)習(xí)算法研究.pdf

1、支持向量機(jī)是借助優(yōu)化方法解決機(jī)器學(xué)習(xí)問(wèn)題的新工具．近年來(lái)，支持向量機(jī)越來(lái)越受到人們的廣泛關(guān)注，在其理論研究和算法實(shí)現(xiàn)方面都取得了重大進(jìn)展，成為機(jī)器學(xué)習(xí)領(lǐng)域的前沿?zé)狳c(diǎn)課題． 支持向量機(jī)將機(jī)器學(xué)習(xí)問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題，并應(yīng)用優(yōu)化理論構(gòu)造算法．優(yōu)化理論是支持向量機(jī)的重要理論基礎(chǔ)之一，本文主要從優(yōu)化理論和方法的角度對(duì)支持向量機(jī)進(jìn)行研究．主要內(nèi)容如下： 1．對(duì)最小二乘支持向量機(jī)進(jìn)行研究．提出一類訓(xùn)練最小二乘支持向量機(jī)的條件預(yù)優(yōu)共軛梯

2、度法．當(dāng)訓(xùn)練樣本的個(gè)數(shù)較大時(shí)，最小二乘支持向量機(jī)需要求解高階線性方程組，利用分塊矩陣的思想將該高階線性方程組系數(shù)矩陣降階，為了提高收斂速度，克服數(shù)值的不穩(wěn)定性，采用條件預(yù)優(yōu)共軛梯度法求解低階的線性方程組，大大提高了最小二乘支持向量機(jī)的訓(xùn)練速度． 2．對(duì)光滑支持向量機(jī)進(jìn)行研究．無(wú)約束支持向量機(jī)模型是非光滑不可微的，許多優(yōu)化算法無(wú)法直接用來(lái)求解該模型．采用CHKS函數(shù)作為光滑函數(shù)，提出了光滑的CHKS支持向量機(jī)模型，并用Newton

3、-Armijo算法來(lái)訓(xùn)練該模型．該算法通過(guò)批處理訓(xùn)練來(lái)提高訓(xùn)練速度，節(jié)省存儲(chǔ)空間，可以有效求解高維、大規(guī)模的分類問(wèn)題． 3．基于優(yōu)化理論中的KKT互補(bǔ)條件，分別建立了支持向量分類機(jī)和支持向量回歸機(jī)的無(wú)約束不可微優(yōu)化模型，并給出了有效的光滑化近似解法．建立了支持向量分類機(jī)的無(wú)約束不可微優(yōu)化模型，給出了求解支持向量分類機(jī)的調(diào)節(jié)熵函數(shù)法．該方法不需要參數(shù)取值很大就可以逼近問(wèn)題的最優(yōu)解，避免了一般熵函數(shù)法為了逼近精確解，參數(shù)取得過(guò)大而導(dǎo)

4、致數(shù)值的溢出現(xiàn)象；調(diào)節(jié)熵函數(shù)法同樣可以用來(lái)訓(xùn)練無(wú)約束不可微的支持向量回歸機(jī)，提出了求解支持向量回歸機(jī)的調(diào)節(jié)熵函數(shù)法，有效避免了數(shù)值的溢出現(xiàn)象．這兩個(gè)算法分別為求解支持向量分類機(jī)和支持向量回歸機(jī)提供了新的思路． 4．對(duì)模糊支持向量機(jī)進(jìn)行研究．針對(duì)支持向量分類機(jī)對(duì)訓(xùn)練樣本中的噪聲和孤立點(diǎn)特別敏感的問(wèn)題，提出了一類基于邊界向量提取的模糊支持向量機(jī)方法．選擇可能成為支持向量的邊界向量作為新樣本，減少了參與訓(xùn)練的樣本數(shù)目，提高了訓(xùn)練速度．

5、樣本的隸屬度根據(jù)邊界樣本和噪聲點(diǎn)與所在超球球心的距離分別確定，減弱了噪聲點(diǎn)的影響，增強(qiáng)了支持向量對(duì)支持向量機(jī)分類的作用；為了克服最小二乘支持向量機(jī)對(duì)于孤立點(diǎn)過(guò)分敏感的問(wèn)題，將模糊隸屬度概念引入最小二乘支持向量機(jī)中，提出了基于支持向量域描述的模糊最小二乘支持向量回歸機(jī)．新的隸屬度的定義減弱了噪聲點(diǎn)的影響．把所要求解的約束凸二次優(yōu)化問(wèn)題轉(zhuǎn)化為正定線性方程組，并采用快速Cholesky分解的方法求解該方程組．在不犧牲訓(xùn)練速度的前提下，比支持向