基于高斯過程回歸的強化學(xué)習(xí)算法研究.pdf

1、強化學(xué)習(xí)(Reinforcement Learning)是機器學(xué)習(xí)方法中重要的一類,在人工智能領(lǐng)域中有著舉足輕重的地位,在博弈、電梯調(diào)度和智能機器人等領(lǐng)域得到廣泛的應(yīng)用。在強化學(xué)習(xí)框架下,Agent不斷和周圍環(huán)境進行交互,學(xué)習(xí)從環(huán)境狀態(tài)到行為的映射,以期望獲得最大累積獎賞。
　　本文針對強化學(xué)習(xí)方法在大規(guī)模離散狀態(tài)空間和連續(xù)空間所面臨的“維數(shù)災(zāi)”問題,以值函數(shù)逼近技術(shù)為基礎(chǔ),提出相應(yīng)的改進算法,對比不同算法的收斂性能,具體研究內(nèi)容

2、包括以下三方面:
　　(1)利用監(jiān)督學(xué)習(xí)中的高斯過程回歸(Gaussian process for regression)模型,在一般的函數(shù)逼近方法中,通常需要假設(shè)具體的函數(shù)形式,而該方法不需要事先假設(shè)具體的函數(shù)模型,而是傾向于讓樣本數(shù)據(jù)本身來表示值函數(shù),同時該方法具有易實現(xiàn),參數(shù)自適應(yīng)的優(yōu)點,并且有很好的理論基礎(chǔ)。
　　(2)針對Dyna-Q算法隨著離散狀態(tài)規(guī)模的增加,算法收斂速度降低的問題,提出一種基于高斯過程回歸的Dy

3、na框架聚類優(yōu)化算法,對大規(guī)模的離散狀態(tài)空間做狀態(tài)聚類處理,利用聚類后的較低規(guī)?？臻g進行學(xué)習(xí),并利用學(xué)習(xí)到的狀態(tài)值去評估高規(guī)模的狀態(tài)空間的狀態(tài)值。通過實驗驗證了該算法在提升算法收斂速率方面的有效性。
　　(3)提出一種連續(xù)狀態(tài)空間下值迭代算法—GPRV。該算法是以高斯過程回歸模型為基礎(chǔ)的。在連續(xù)狀態(tài)空間下無法像離散空間那樣進行值函數(shù)表格式存儲。為解決大狀態(tài)連續(xù)空間的強化學(xué)習(xí)中的值函數(shù)逼近問題,結(jié)合值迭代與高斯過程回歸。該算法通過高