支持向量機(jī)算法PAC-Bayes邊界理論與實(shí)驗(yàn)研究.pdf

1、PAC-Bayes邊界理論融合了貝葉斯定理和隨機(jī)分類器的結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，為機(jī)器學(xué)習(xí)算法提供了一個(gè)理論框架，進(jìn)而可以推導(dǎo)出最緊的泛化風(fēng)險(xiǎn)邊界。該理論的有效性和正確性可由概率近似正確性理論和貝葉斯決策理論推導(dǎo)得到。PAC-Bayes邊界是衡量機(jī)器學(xué)習(xí)算法泛化性能的重要統(tǒng)計(jì)量，具有嚴(yán)格的數(shù)學(xué)形式和一般意義。
　　本文根據(jù)PAC-Bayes邊界理論，將其運(yùn)用于評(píng)價(jià)支持向量機(jī)(SVM)的泛化性能。首先，使用五個(gè)UCI數(shù)據(jù)集分別進(jìn)行封閉測(cè)

2、試和開放測(cè)試，測(cè)試得出PAC-Bayes邊界和敏感性、特異性和正確率統(tǒng)計(jì)指標(biāo)。分析PAC-Bayes邊界值和對(duì)應(yīng)的統(tǒng)計(jì)指標(biāo)的協(xié)方差與相關(guān)系數(shù)，實(shí)驗(yàn)結(jié)果表明PAC-Bayes邊界值與分類正確率具有很高的負(fù)相關(guān)性，與敏感性和特異性也具有一定的負(fù)相關(guān)性。其次，PAC-Bayes邊界方法作為模型性能評(píng)價(jià)的方法，將它與 N折交叉驗(yàn)證方法進(jìn)行比較。它們的實(shí)驗(yàn)結(jié)果是一致的，說明PAC-Bayes邊界能夠較好地反映泛化風(fēng)險(xiǎn)邊界。再次,將PAC-Baye

3、s邊界通過模型選擇應(yīng)用于SVM，實(shí)現(xiàn)快速優(yōu)選SVM的懲罰系數(shù)和核函數(shù)參數(shù)。最后，將SVM和PAC-Bayes邊界應(yīng)用于蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)中。
　　PAC-Bayes邊界在實(shí)際應(yīng)用中的主要問題是，在概念空間下估計(jì)不確定的先驗(yàn)分布和后驗(yàn)分布。本文通過使用核方法，以再生核希爾伯特空間來構(gòu)造概念空間，并提出以隨機(jī)采樣方法和馬爾科夫鏈蒙特卡洛采樣方法來模擬概念空間的后驗(yàn)分布的采樣，進(jìn)而計(jì)算KL相對(duì)熵及PAC-Bayes邊界。同時(shí)通過方差最小化方

4、法來評(píng)價(jià)支持向量的統(tǒng)計(jì)顯著性，以實(shí)現(xiàn)支持向量及其權(quán)向量的優(yōu)化。在兩個(gè)人工設(shè)置的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該模擬方法在實(shí)際應(yīng)用中是合理且有效的。
　　在以再生核希爾伯特空間來構(gòu)造概念空間的基礎(chǔ)上，本文還提出一種融合模型反饋信息的改進(jìn)馬爾科夫鏈蒙特卡洛采樣方法，來模擬對(duì)概念空間后驗(yàn)分布的采樣。同時(shí)使用核密度估計(jì)方法對(duì)后驗(yàn)分布進(jìn)行概率密度估計(jì)，求得后驗(yàn)分布與先驗(yàn)分布的KL相對(duì)熵，進(jìn)而解決PAC-Bayes邊界的計(jì)算問題。最后分別采