關(guān)于模型選擇問題的子空間信息準(zhǔn)則.pdf

1、近年來，模型選擇問題引起人們很大的興趣.在監(jiān)督學(xué)習(xí)中，模型選擇的好壞直接影響學(xué)習(xí)算法的推廣能力.如果所選擇的模型過于復(fù)雜，就會(huì)出現(xiàn)過學(xué)習(xí)(overfitting)現(xiàn)象；相反，如果模型過于簡(jiǎn)單，則會(huì)出現(xiàn)欠學(xué)習(xí)(underfitting)現(xiàn)象. 對(duì)于小規(guī)模樣本集(實(shí)際問題總是小規(guī)模樣本集的問題)，監(jiān)督學(xué)習(xí)的目標(biāo)是在給定的函數(shù)集中挑選一個(gè)最優(yōu)的逼近函數(shù)，從而最小化推廣誤差.對(duì)此，Vapnik在文獻(xiàn)[53]中提出了選擇這樣函數(shù)集的原則，

2、即結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)原則.該原則為給定函數(shù)集提供一個(gè)容許結(jié)構(gòu)，然后在整個(gè)給定的結(jié)構(gòu)元素上找到最小化保證風(fēng)險(xiǎn)的函數(shù). 上世紀(jì)下半葉，人們從各種觀點(diǎn)出發(fā)，提出了很多模型選擇原則.其中以Akaike等人提出的兩種模型選擇原則較為流行，Akaike信息準(zhǔn)則(AIC)[17]和Bayesian信息準(zhǔn)則(BIC)[18].后來，從泛函分析的角度出發(fā)，Sugiyama和Ogawa又提出了一種新的模型選擇準(zhǔn)則，即子空間信息準(zhǔn)則(SIC)[

3、27].SIC所考慮的訓(xùn)練樣本是基于[0，1]上樣本點(diǎn)的一個(gè)均勻分布，零均值和不同方差值的正態(tài)分布噪聲得到的.它用所選取的函數(shù)與真實(shí)函數(shù)之間的均方差來估計(jì)性能.SIC的優(yōu)勢(shì)在于它是推廣誤差的一種無偏估計(jì)，實(shí)驗(yàn)證明依SIC思想選擇的模型得到的學(xué)習(xí)算法具有很好的推廣能力. 本文分五個(gè)部分討論了模型選擇的子空間信息準(zhǔn)則問題. 第一部分，主要介紹了學(xué)習(xí)問題及本文的研究背景. 第二部分，首先介紹模型的概念，接著回顧一些經(jīng)典

4、的模型選擇原則，主要介紹的有三個(gè)：結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則(SRM)，Akaike信息準(zhǔn)則(AIC)和Bayesian信息準(zhǔn)則(BIC). 第三部分，討論本文的主要內(nèi)容，即解決模型選擇問題的子空間信息準(zhǔn)則(SIC).在介紹SIC的定義以后，把該方法推廣到無限維的假設(shè)空間上；并且還對(duì)SIC進(jìn)行擾動(dòng)分析，最后對(duì)SIC的一些不足之處進(jìn)行改善，從而提高該方法的精度. 第四部分，我們將SIC應(yīng)用到學(xué)習(xí)問題的一些重要模型中，這其中包括在再