基于高斯過(guò)程回歸的強(qiáng)化學(xué)習(xí)算法研究.pdf

1、強(qiáng)化學(xué)習(xí)(Reinforcement Learning)是機(jī)器學(xué)習(xí)方法中重要的一類,在人工智能領(lǐng)域中有著舉足輕重的地位,在博弈、電梯調(diào)度和智能機(jī)器人等領(lǐng)域得到廣泛的應(yīng)用。在強(qiáng)化學(xué)習(xí)框架下,Agent不斷和周圍環(huán)境進(jìn)行交互,學(xué)習(xí)從環(huán)境狀態(tài)到行為的映射,以期望獲得最大累積獎(jiǎng)賞。
　　本文針對(duì)強(qiáng)化學(xué)習(xí)方法在大規(guī)模離散狀態(tài)空間和連續(xù)空間所面臨的“維數(shù)災(zāi)”問(wèn)題,以值函數(shù)逼近技術(shù)為基礎(chǔ),提出相應(yīng)的改進(jìn)算法,對(duì)比不同算法的收斂性能,具體研究?jī)?nèi)容

2、包括以下三方面:
　　(1)利用監(jiān)督學(xué)習(xí)中的高斯過(guò)程回歸(Gaussian process for regression)模型,在一般的函數(shù)逼近方法中,通常需要假設(shè)具體的函數(shù)形式,而該方法不需要事先假設(shè)具體的函數(shù)模型,而是傾向于讓樣本數(shù)據(jù)本身來(lái)表示值函數(shù),同時(shí)該方法具有易實(shí)現(xiàn),參數(shù)自適應(yīng)的優(yōu)點(diǎn),并且有很好的理論基礎(chǔ)。
　　(2)針對(duì)Dyna-Q算法隨著離散狀態(tài)規(guī)模的增加,算法收斂速度降低的問(wèn)題,提出一種基于高斯過(guò)程回歸的Dy

3、na框架聚類優(yōu)化算法,對(duì)大規(guī)模的離散狀態(tài)空間做狀態(tài)聚類處理,利用聚類后的較低規(guī)?？臻g進(jìn)行學(xué)習(xí),并利用學(xué)習(xí)到的狀態(tài)值去評(píng)估高規(guī)模的狀態(tài)空間的狀態(tài)值。通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法在提升算法收斂速率方面的有效性。
　　(3)提出一種連續(xù)狀態(tài)空間下值迭代算法—GPRV。該算法是以高斯過(guò)程回歸模型為基礎(chǔ)的。在連續(xù)狀態(tài)空間下無(wú)法像離散空間那樣進(jìn)行值函數(shù)表格式存儲(chǔ)。為解決大狀態(tài)連續(xù)空間的強(qiáng)化學(xué)習(xí)中的值函數(shù)逼近問(wèn)題,結(jié)合值迭代與高斯過(guò)程回歸。該算法通過(guò)高