機器學習svm習題集

1、SVM1.判斷題(1)在SVM訓練好后，我們可以拋棄非支持向量的樣本點，仍然可以對新樣本進行分類。(T)(2)SVM對噪聲（如來自其他分布的噪聲樣本）魯棒。(F)2簡答題現(xiàn)有一個點能被正確分類且遠離決策邊界。如果將該點加入到訓練集，為什么SVM的決策邊界不受其影響，而已經(jīng)學好的logistic回歸會受影響？答：因為SVM采用的是hingeloss，當樣本點被正確分類且遠離決策邊界時，SVM給該樣本的權(quán)重為0，所以加入該樣本決策邊界不受影

2、響。而logistic回歸采用的是log損失，還是會給該樣本一個小小的權(quán)重。3產(chǎn)生式模型和判別式模型。（30分，每小題10分）圖2：訓練集、最大間隔線性分類器和支持向量（粗體）（1）圖中采用留一交叉驗證得到的最大間隔分類器的預測誤差的估計是多少（用樣本數(shù)表示即可）從圖中可以看出，去除任意點都不影響SVM的分界面。而保留所有樣本時，所有的樣本點都能被正確分類，因此LOOCV的誤差估計為0。（2）說法“最小結(jié)構(gòu)風險保證會找到最低決策誤差的模

3、型”是否正確，并說明理由。(F)最小結(jié)構(gòu)風險（SRM）只能保證在所有考慮的模型中找到期望風險上界最小的模型。（3）若采用等協(xié)方差的高斯模型分別表示上述兩個類別樣本的分布，則分類器的VC維是多少？為什么？等協(xié)方差的高斯模型的決策邊界為線性，因為其VC維維D1。題中D=2.(4)、??1111max2NNNiijijijiijyyk????????????????xx1s.t.01....0NiiiiCiNy????????其中。??21e

4、xp2k???????????xxxxRBF核函數(shù)，決策邊界為曲線σ=1較大，曲線更平滑(a)(5)、??1111max2NNNiijijijiijyyk????????????????xx1s.t.01....0NiiiiCiNy????????其中。????2expk?????xxxxRBF核函數(shù)，決策邊界為曲線σ=sqrt(12)較小，曲線更彎曲(e)(6)考慮帶松弛因子的線性SVM分類器：211mins.t.2NiiC?????