貝葉斯支持向量機的數(shù)值實現(xiàn)方法研究.pdf

1、　　支持向量機(SVM)由于其獨特的優(yōu)勢,已得到了廣泛應(yīng)用。貝葉斯理論在機器學(xué)習(xí)領(lǐng)域扮演了相當重要的角色。SVM與貝葉斯理論的結(jié)合是一個值得關(guān)注的研究課題,二者的結(jié)合可導(dǎo)出貝葉斯支持向量機(BSVM),其實質(zhì)是將SVM置于貝葉斯顯著度框架中求解最優(yōu)超參數(shù)。但是顯著度框架是一種半解析化方法,在實際應(yīng)用中很難獲得解析解,這導(dǎo)致BSVM只能借助數(shù)值計算方法來實現(xiàn)。為此,本文主要研究基于混合蒙特卡洛(HMC)抽樣法進行BSVM的數(shù)值實現(xiàn),具體研

2、究工作如下：
　　(1)改進BSVM的數(shù)值實現(xiàn)方法。由于混合蒙特卡洛(HMC)抽樣法在解決隨機性問題方面的優(yōu)勢,為此提出基于HMC抽樣的BSVM數(shù)值實現(xiàn)方法,主要包括提出問題、構(gòu)建模型、抽樣、求解等。其中,抽樣過程中引入了“蛙跳”技巧可以避免“隨機游走”現(xiàn)象。BSVM的四個性能實驗表明：蛙跳步數(shù)和蛙跳步長對BSVM的回歸準確度影響比較大,而抽樣次數(shù)對其回歸準確度的影響比較??；BSVM的學(xué)習(xí)時間隨蛙跳步數(shù)以及抽樣次數(shù)的增加而線性增

3、加,但跟蛙跳步長沒有這樣的關(guān)系；在回歸方面,BSVM的優(yōu)勢是抗噪能力強,劣勢是事先需要設(shè)定的參數(shù)較多。
　　(2)混合蒙特卡洛抽樣的BSVM與其它方法的比較。首先,對BSVM兩種數(shù)值實現(xiàn)方法即拉普拉斯逼近法和混合蒙特卡洛法抽樣法進行比較。在比較過程中,用 BSVM 的兩種數(shù)值實現(xiàn)方法分別去解決同一個回歸問題。實驗表明：兩種數(shù)值實現(xiàn)方法的回歸誤差相當,但是混合蒙特卡洛抽樣法的學(xué)習(xí)時間更短。當拉普拉斯逼近法的迭代次數(shù)增多時,雖然它的

4、回歸誤差得到減小,但學(xué)習(xí)時間也相應(yīng)顯著增加。再次,對基于混合蒙特卡洛抽樣法的BSVM與SVM、相關(guān)向量機(RVM)進行比較。實驗表明：BSVM的抗噪能力強,方法比較穩(wěn)健
　　(3)將基于混合蒙特卡洛抽樣的BSVM用于解決超市銷量數(shù)據(jù)回歸實際問題。實驗中用三類商品數(shù)據(jù)作為學(xué)習(xí)樣本進行回歸實驗,每個樣本集分別由超市的手撕條、山楂片、阿根廷翅尖的每月銷售量組成,實驗結(jié)果的回歸曲線誤差很小,表明BSVM具有實際應(yīng)用價值。為了測試BSVM