核機器學習方法研究.pdf

1、摘要從上世紀60年代始,人們開始研究基于數(shù)據(jù)的機器學習問題理論,直至上世紀九十年代,在Vapnik等人的努力下,基于數(shù)據(jù)的機器學習理論得到了長足的發(fā)展,形成了一門比較完善的統(tǒng)計學習理論,并在此基礎(chǔ)上創(chuàng)建了一類全新的通用的有效的機器學習算法:支撐矢量機.統(tǒng)計學習理論的精髓在于引入了假設(shè)函數(shù)集容量控制的概念,學習機為了獲得好的推廣能力,需在假設(shè)函數(shù)集容量控制和最小化經(jīng)驗風險之間作一個好的折衷.在統(tǒng)計學習理論出現(xiàn)和完善之前,在機器學習中引入核

2、函數(shù),更廣義地說就是引入非線性映射和非線性函數(shù)技術(shù)早已有之.但核函數(shù)真正在機器學習中獲得成功應(yīng)用始于支撐矢量機.其原因就是由于引入了非線性函數(shù),使得學習機假設(shè)函數(shù)集太大,容易導(dǎo)致學習機的過擬合而降低推廣能力.正是統(tǒng)計學習理論和核技術(shù)的結(jié)合,才觸發(fā)了從上世紀九十年代中期開始的核機器的出現(xiàn)和快速成功的發(fā)展.目前主要的核機器技術(shù)包括支撐矢量機、核Rsher分類器和核主分量分析等.該論文的所有工作正是在上述結(jié)合點上展開,主要包括兩大部份的內(nèi)容:

3、支撐矢量機算法分析和改進方面以及基于統(tǒng)計學習理論的新核機器算法方面.在支撐矢量機算法分析和改進方面,該論文主要作了以下四方面的工作:第一、分析了支撐矢量機的基本幾何性質(zhì).我們針對模式識別和回歸估計兩類支撐矢量機,分別分析和證明了它們的一些基本幾何性質(zhì),基于這些性質(zhì)討論了支撐矢量機對新增樣本的推廣能力,得到了一些非常有價值的結(jié)論.第二、提出了線性規(guī)劃支撐矢量機.我們通過對統(tǒng)計學習理論中一些重要結(jié)論,特別是線性假設(shè)函數(shù)集VC維數(shù)的分析,得到

4、了一類線性規(guī)劃支撐矢量機.第三、提出了無約束規(guī)劃回歸估計支撐矢量機.當采用高斯損失函數(shù)時,我們提出了一種無約束支撐矢量機回歸估計算法,并證明了該算法具有嚴格的凸性,不存在局部極小解.第四、提出了自適應(yīng)支撐矢量機算法.通常無線通信信道具有時變性,要求多用戶檢測算法具有自適應(yīng)性.在新的基于統(tǒng)計學習理論的核機器方面,該論文主要作了以下四方面的工作.第一、提出了一種新的支撐矢量機模型選擇準則.第二、提出了復(fù)值支撐矢量機算法.第三、提出了基于父子