基于測地高斯核的策略迭代強化學習.pdf

1、作為一類重要的機器學習方法，經(jīng)典查找表形式的強化學習方法在大規(guī)?；蛘哌B續(xù)空間任務中普遍面臨“維數(shù)災難”問題，而基于逼近技術(shù)的近似強化學習方法則克服了此問題。目前，近似強化學習方法已經(jīng)成功地應用到了自動控制、人工智能以及智能機器人等領(lǐng)域，是強化學習研究領(lǐng)域的一個熱點。
　　本文主要從值函數(shù)逼近方面對近似強化學習方法展開研究?；瘮?shù)的選取工作對于基于值函數(shù)逼近的近似策略迭代至關(guān)重要。針對基于線性值函數(shù)逼近的強化學習算法存在基函數(shù)選取困

2、難的問題，選擇在圖上具有光滑性且計算簡單的測地高斯核以更好地逼近光滑且不連續(xù)的值函數(shù)。針對基于測地高斯基的強化學習方法中存在的一些問題，提出兩點改進算法。第一，對于狀態(tài)空間在歐氏空間不連續(xù)的強化學習任務，測地高斯基直接在歐氏空間內(nèi)求取最短路徑的結(jié)果不理想；針對此問題，引入流形學習中基于譜圖理論的拉普拉斯特征映射算法，提出一種基于狀態(tài)圖流形測地高斯基的策略迭代強化學習方法；基于流形距離構(gòu)造的高斯基函數(shù)提高了值函數(shù)的估計精度，Agent能夠