基于非參函數逼近的強化學習算法研究.pdf

1、強化學習主要通過與環(huán)境交互的方式獲得輸入信息,繼而對策略進行改進。近年來,強化學習受到了學術界的廣泛關注,已經成為機器學習領域的一個重要分支。傳統(tǒng)的強化學習在大規(guī)模狀態(tài)空間下通常采用帶參的函數逼近器來表示值函數,但是無法解決算法收斂速度過慢與策略精度較低的問題。而非參函數逼近作為一種靈活的、完全基于樣本的函數逼近方法,具有精度高、收斂速度快等特點,且與強化學習基于反饋進行學習的根本原理相一致。
　　本文在已有算法的基礎上,將非參函

2、數逼近與強化學習算法相結合:
　　(1)針對強化學習中無效探索過多的問題,提出了一種基于優(yōu)先級掃描的TD最小二乘策略迭代算法,將優(yōu)先級掃描與非參函數逼近方法相結合,在探索的同時建立環(huán)境模型,并通過模型學習提高了算法的收斂速度;
　　(2)針對非參函數逼近算法中計算復雜度過高的問題,提出了一種基于稀疏樣本的高斯過程策略迭代算法,將高斯過程應用于強化學習建模,并利用核稀疏方法降低了樣本空間的冗余度,在一定程度上提高了算法的收斂速