支持向量機(jī)的調(diào)節(jié)熵函數(shù)法研究.pdf

1、在統(tǒng)計(jì)學(xué)基礎(chǔ)上提出的機(jī)器學(xué)習(xí)方法SVM(Support VectorMachine)[1]在訓(xùn)練學(xué)習(xí)機(jī)器時(shí)，其學(xué)習(xí)方式是SRM(Structural RiskMinimization)準(zhǔn)則，因此，學(xué)習(xí)機(jī)器不光具有簡潔的數(shù)學(xué)形式，還使得其幾何解釋直觀，易泛化。除此之外，它還將一般的學(xué)習(xí)問題與凸二次規(guī)劃問題建立關(guān)聯(lián)，凸二次規(guī)劃問題的解即為原問題的解，從而保證所得解并非局部極值，而是全局最優(yōu)解。
　　 SVM是一種集多種標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)

2、技術(shù)于一身的新技術(shù)，它集成了最大間隔超平面、Mercer核、凸二次規(guī)劃、稀疏解和松弛變量等技巧。在解決各種挑戰(zhàn)性的實(shí)際問題中都有它成功的應(yīng)用，譬如它可以用來預(yù)測、分類和線性與非線性回歸。
　　 在對(duì)SVM研究中，學(xué)者們提出了各種各樣的算法[2]，這些算法要么有某一方面的優(yōu)勢，要么有一定的應(yīng)用范圍，且都是采用二次規(guī)劃或線性方程組來求解相應(yīng)的最優(yōu)化問題。在模式識(shí)別中，SVM利用二次規(guī)劃對(duì)偶技巧把優(yōu)化問題轉(zhuǎn)化為高維特征空間中一個(gè)簡單約

3、束的二次規(guī)劃問題。雖然，通過分解訓(xùn)練樣本集或序貫輸入樣本的方式能夠處理這種高維的對(duì)偶規(guī)劃，由此產(chǎn)生的算法既節(jié)省了存儲(chǔ)空間，又提高了計(jì)算效率。但是，這些算法的設(shè)計(jì)和實(shí)現(xiàn)都比較復(fù)雜。
　　 極大熵方法[3]是近幾年提出的新算法，對(duì)于多約束非線性規(guī)劃、極大極小等問題，通過該方法都能快速處理，與已有方法相比，其特點(diǎn)是:更易實(shí)現(xiàn)、更穩(wěn)定、收斂更快[5，85]。除此之外，極大熵方法在求解不可微和大型多約束等問題時(shí)也是有效的[5，85]，因此

4、，該方法有很高的應(yīng)用價(jià)值。但其不足之處是對(duì)問題的精確解只有在參數(shù)p→∞時(shí)才能得到，當(dāng)p取較大值時(shí)，又容易產(chǎn)生數(shù)值的溢出現(xiàn)象。
　　 針對(duì)這種弊端，本文在對(duì)SVM的理論基礎(chǔ)----統(tǒng)計(jì)學(xué)理論和最優(yōu)化理論，以及SVM本身的分類思想、方法和回歸原理做了較為詳細(xì)的研究和闡述后，根據(jù)SVC的分類方法和SVR的回歸原理，提出了一種新的求解SVM優(yōu)化問題的帶調(diào)節(jié)因子的熵函數(shù)法。它克服了現(xiàn)有熵函數(shù)法只有參數(shù)p取得很大才能逼近問題的精確解的不足。