kernel方法

1、1,Kernel方法,PRML第6、7章,2,不同的方法框架,數(shù)據(jù)只與模型的訓(xùn)練過程發(fā)生聯(lián)系：例如線性回歸、Logistic回歸等 訓(xùn)練耗時(shí)，測(cè)試相對(duì)較快數(shù)據(jù)參與預(yù)測(cè)或估計(jì)過程：例如核密度估計(jì)、最近鄰分類等 “訓(xùn)練”簡(jiǎn)單，測(cè)試相對(duì)耗時(shí),3,核函數(shù)：度量樣本相似性,核函數(shù)：線性核：注：核函數(shù)的引入不僅可發(fā)展出新模型，也可擴(kuò)展已有模型，例如KFLD、KPCA等等,4,對(duì)偶表示,許多回歸或分類的線性模型可重形式化為由核

2、函數(shù)所支配的對(duì)偶表示例子： 平穩(wěn)點(diǎn)對(duì)應(yīng)的w為,5,對(duì)偶表示,代入 ，獲得定義 ，這里獲得對(duì)應(yīng)于平穩(wěn)點(diǎn)的a為,6,對(duì)偶表示,將上式代入到線性回歸模型，預(yù)測(cè)值為 這里作業(yè)：嘗試自行驗(yàn)證上述重形式化過程,7,對(duì)偶表示,比較原形式化的解 與對(duì)偶形式化的解 易知兩個(gè)形式化涉及不同規(guī)模的矩陣反轉(zhuǎn)問題：典型問題設(shè)置下，哪個(gè)

3、形式化計(jì)算開銷更小？對(duì)偶形式化的優(yōu)勢(shì)在哪里？,8,構(gòu)造核,方法1：首先構(gòu)造 ，再由 獲得核函數(shù)k(.,,)方法2：直接定義k(.,,)注：方法2需要保證所定義的k(.,,)合法,9,構(gòu)造核,合法核函數(shù)k(.,,)的充要條件：由任意樣本集D和k(.,,)所構(gòu)造的Gram矩陣K半正定作業(yè)：證明上述結(jié)果例子：,10,構(gòu)造核,,11,構(gòu)造核,由簡(jiǎn)單核組合出復(fù)雜核,12,構(gòu)造核,例子：高斯核例子：多項(xiàng)式核

4、 ，這里c>0作業(yè)：證明高斯核和多項(xiàng)式核是合法的核,13,構(gòu)造核,概率生成技術(shù)：連接生成模型和判別模型,14,高斯過程,線性回歸重訪問： 基本模型,15,高斯過程,考察y的前兩階矩由此確定y的分布（由核矩陣K所決定）作業(yè)：自行驗(yàn)證上述公式,16,高斯過程,替換視角：不顯式指定基函數(shù)集{?k}和p(w)，直接定義核矩陣K高斯核和指數(shù)核,17

5、,高斯過程,目標(biāo)方程： ，這里目標(biāo)分布：y分布： ，這里K是由參數(shù)決定核矩陣,18,高斯過程,由上述定義，可解析給出 這里問題：利用哪些結(jié)果可獲得上面給出的結(jié)果？,19,高斯過程,核矩陣K的定義：,20,高斯過程,預(yù)測(cè)：為計(jì)算以上條件概率，考慮 協(xié)方差矩陣做如下劃分,21,高斯過程,利用高斯分布條件化公式（2.81和2.82），得到