基于高斯過程回歸的強化學習算法研究.pdf

1、強化學習(Reinforcement Learning)是機器學習方法中重要的一類,在人工智能領域中有著舉足輕重的地位,在博弈、電梯調度和智能機器人等領域得到廣泛的應用。在強化學習框架下,Agent不斷和周圍環(huán)境進行交互,學習從環(huán)境狀態(tài)到行為的映射,以期望獲得最大累積獎賞。
　　本文針對強化學習方法在大規(guī)模離散狀態(tài)空間和連續(xù)空間所面臨的“維數(shù)災”問題,以值函數(shù)逼近技術為基礎,提出相應的改進算法,對比不同算法的收斂性能,具體研究內容

2、包括以下三方面:
　　(1)利用監(jiān)督學習中的高斯過程回歸(Gaussian process for regression)模型,在一般的函數(shù)逼近方法中,通常需要假設具體的函數(shù)形式,而該方法不需要事先假設具體的函數(shù)模型,而是傾向于讓樣本數(shù)據(jù)本身來表示值函數(shù),同時該方法具有易實現(xiàn),參數(shù)自適應的優(yōu)點,并且有很好的理論基礎。
　　(2)針對Dyna-Q算法隨著離散狀態(tài)規(guī)模的增加,算法收斂速度降低的問題,提出一種基于高斯過程回歸的Dy

3、na框架聚類優(yōu)化算法,對大規(guī)模的離散狀態(tài)空間做狀態(tài)聚類處理,利用聚類后的較低規(guī)?？臻g進行學習,并利用學習到的狀態(tài)值去評估高規(guī)模的狀態(tài)空間的狀態(tài)值。通過實驗驗證了該算法在提升算法收斂速率方面的有效性。
　　(3)提出一種連續(xù)狀態(tài)空間下值迭代算法—GPRV。該算法是以高斯過程回歸模型為基礎的。在連續(xù)狀態(tài)空間下無法像離散空間那樣進行值函數(shù)表格式存儲。為解決大狀態(tài)連續(xù)空間的強化學習中的值函數(shù)逼近問題,結合值迭代與高斯過程回歸。該算法通過高