用于回歸預(yù)測(cè)的高斯過程模型研究.pdf

1、近年來高斯過程（Gaussian Process，GP）模型已成為一種重要的機(jī)器學(xué)習(xí)方法。它綜合了基于核的機(jī)器學(xué)習(xí)與基于貝葉斯推理機(jī)器學(xué)習(xí)的特點(diǎn)，同時(shí)具備上述兩種機(jī)器學(xué)習(xí)方式的優(yōu)點(diǎn)。高斯過程模型既可用于分類，也可用于回歸預(yù)測(cè)。本文主要研究用于回歸預(yù)測(cè)的高斯過程模型，具體研究工作如下：
　?。?）多尺度高斯過程模型的近似學(xué)習(xí)曲線研究
　　基于高斯過程相關(guān)理論，對(duì)多尺度高斯過程模型的學(xué)習(xí)曲線進(jìn)行研究。首先，對(duì)學(xué)習(xí)曲線進(jìn)行了定義，

2、然后根據(jù)多尺度高斯過程模型的原理，推導(dǎo)出學(xué)習(xí)曲線的一般表達(dá)式，并通過對(duì)多個(gè)樣本集求均值的方式對(duì)學(xué)習(xí)曲線進(jìn)行近似計(jì)算，得到近似學(xué)習(xí)曲線的計(jì)算表達(dá)式，最后在Matlab環(huán)境下實(shí)現(xiàn)了學(xué)習(xí)曲線的近似計(jì)算實(shí)驗(yàn)仿真。
　?。?）學(xué)習(xí)曲線的單點(diǎn)上界和兩點(diǎn)上界研究
　　借鑒Williams, C.K.I.和Vivarelli, F.提出的GP模型的單點(diǎn)上界和兩點(diǎn)上界的研究思路，推導(dǎo)出了MGP模型的單點(diǎn)上界和兩點(diǎn)上界公式，并用Simpson公

3、式或梯度公式對(duì)兩種上界進(jìn)行了近似計(jì)算，得到了兩種上界的數(shù)值計(jì)算表達(dá)式。在Matlab環(huán)境下實(shí)現(xiàn)了學(xué)習(xí)曲線單點(diǎn)上界以及兩點(diǎn)上界的實(shí)驗(yàn)仿真。通過實(shí)驗(yàn)驗(yàn)證了多尺度高斯過程學(xué)習(xí)曲線及其界的理論的正確性，并且通過對(duì)比不同參數(shù)情形下的實(shí)驗(yàn)結(jié)果，得出了各個(gè)模型參數(shù)對(duì)MGP模型學(xué)習(xí)曲線及其界的影響。
　?。?）高斯過程混合模型的回歸預(yù)測(cè)研究
　　研究了GP模型的另一種改進(jìn)型，即高斯過程混合模型（GPMs）。首先闡述如何用留一交叉驗(yàn)證法對(duì)模型