支持向量機中最優(yōu)化問題的研究.pdf

1、支持向量機是基于統(tǒng)計學(xué)習(xí)理論,借助最優(yōu)化方法來解決機器學(xué)習(xí)問題的新工具.它將機器學(xué)習(xí)問題轉(zhuǎn)化為求解最優(yōu)化問題,并應(yīng)用最優(yōu)化理論構(gòu)造算法來解決問題.該文主要是從最優(yōu)化理論和算法的角度對支持向量機中的最優(yōu)化問題進行研究.在理論上,該文首先詳細地論述了支持向量機的基本思想和各種常用的支持向量機方法,然后通過深入分析,指出現(xiàn)有方法中存在的問題.針對這些問題,應(yīng)用最優(yōu)化理論進行深入研究,主要工作如下:1.在作為支持向量機基礎(chǔ)的原始問題解和對偶問題

2、解的關(guān)系上,當前研究存在邏輯缺陷,該文發(fā)現(xiàn)并彌補了這一缺陷,第一次在完整嚴密的邏輯基礎(chǔ)上完善了各種支持向量機中最優(yōu)化問題的理論體系.2.在部分情況下,支持向量機無法利用現(xiàn)有的公式計算決策函數(shù)的閾值,該文給出了所有可能情況下,支持向量機中決策函數(shù)閾值的求解公式.3.Mangasarian提出了廣義支持向量機,但不包含標準的支持向量機:前者研究一般的嚴格凸規(guī)劃問題,而后者針對的是特定的凸規(guī)劃問題.該文推廣了Mangasarian提出的廣義支

3、持向量機,使之適用于標準的支持向量機,從而完善了廣義支持向量機的理論體系.4.支持向量機中有一類重要的變形方法,雖然很有效,但缺乏相應(yīng)的統(tǒng)計學(xué)習(xí)理論基礎(chǔ).該文從統(tǒng)計學(xué)習(xí)理論出發(fā),對其進行深入研究.在算法方面,該文在將支持向量機中的最優(yōu)化問題轉(zhuǎn)化為無約束問題的前提下,研究了Newton-PCG算法.Newton-PCG算法是解決無約束問題的有效方法,在該算法中需要求解一個一繼整數(shù)最優(yōu)化問題,并且算法的效率也依賴于它的最優(yōu)值.該文建立了簡單