核機(jī)器學(xué)習(xí)方法研究.pdf

1、摘要從上世紀(jì)60年代始,人們開始研究基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問(wèn)題理論,直至上世紀(jì)九十年代,在Vapnik等人的努力下,基于數(shù)據(jù)的機(jī)器學(xué)習(xí)理論得到了長(zhǎng)足的發(fā)展,形成了一門比較完善的統(tǒng)計(jì)學(xué)習(xí)理論,并在此基礎(chǔ)上創(chuàng)建了一類全新的通用的有效的機(jī)器學(xué)習(xí)算法:支撐矢量機(jī).統(tǒng)計(jì)學(xué)習(xí)理論的精髓在于引入了假設(shè)函數(shù)集容量控制的概念,學(xué)習(xí)機(jī)為了獲得好的推廣能力,需在假設(shè)函數(shù)集容量控制和最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)之間作一個(gè)好的折衷.在統(tǒng)計(jì)學(xué)習(xí)理論出現(xiàn)和完善之前,在機(jī)器學(xué)習(xí)中引入核

2、函數(shù),更廣義地說(shuō)就是引入非線性映射和非線性函數(shù)技術(shù)早已有之.但核函數(shù)真正在機(jī)器學(xué)習(xí)中獲得成功應(yīng)用始于支撐矢量機(jī).其原因就是由于引入了非線性函數(shù),使得學(xué)習(xí)機(jī)假設(shè)函數(shù)集太大,容易導(dǎo)致學(xué)習(xí)機(jī)的過(guò)擬合而降低推廣能力.正是統(tǒng)計(jì)學(xué)習(xí)理論和核技術(shù)的結(jié)合,才觸發(fā)了從上世紀(jì)九十年代中期開始的核機(jī)器的出現(xiàn)和快速成功的發(fā)展.目前主要的核機(jī)器技術(shù)包括支撐矢量機(jī)、核Rsher分類器和核主分量分析等.該論文的所有工作正是在上述結(jié)合點(diǎn)上展開,主要包括兩大部份的內(nèi)容:

3、支撐矢量機(jī)算法分析和改進(jìn)方面以及基于統(tǒng)計(jì)學(xué)習(xí)理論的新核機(jī)器算法方面.在支撐矢量機(jī)算法分析和改進(jìn)方面,該論文主要作了以下四方面的工作:第一、分析了支撐矢量機(jī)的基本幾何性質(zhì).我們針對(duì)模式識(shí)別和回歸估計(jì)兩類支撐矢量機(jī),分別分析和證明了它們的一些基本幾何性質(zhì),基于這些性質(zhì)討論了支撐矢量機(jī)對(duì)新增樣本的推廣能力,得到了一些非常有價(jià)值的結(jié)論.第二、提出了線性規(guī)劃支撐矢量機(jī).我們通過(guò)對(duì)統(tǒng)計(jì)學(xué)習(xí)理論中一些重要結(jié)論,特別是線性假設(shè)函數(shù)集VC維數(shù)的分析,得到

4、了一類線性規(guī)劃支撐矢量機(jī).第三、提出了無(wú)約束規(guī)劃回歸估計(jì)支撐矢量機(jī).當(dāng)采用高斯損失函數(shù)時(shí),我們提出了一種無(wú)約束支撐矢量機(jī)回歸估計(jì)算法,并證明了該算法具有嚴(yán)格的凸性,不存在局部極小解.第四、提出了自適應(yīng)支撐矢量機(jī)算法.通常無(wú)線通信信道具有時(shí)變性,要求多用戶檢測(cè)算法具有自適應(yīng)性.在新的基于統(tǒng)計(jì)學(xué)習(xí)理論的核機(jī)器方面,該論文主要作了以下四方面的工作.第一、提出了一種新的支撐矢量機(jī)模型選擇準(zhǔn)則.第二、提出了復(fù)值支撐矢量機(jī)算法.第三、提出了基于父子