基于改進ELM的遞歸最小二乘強化學習算法的研究.pdf

1、強化學習包含了策略評價與策略尋優(yōu)兩個方面的問題，其中策略評價問題在機器學習中又稱為預測學習過程，而策略尋優(yōu)即策略優(yōu)化問題在機器學習中又被稱為控制學習過程，通過正確、成熟的策略評價以及策略迭代技術可實現(xiàn)控制學習，并最終實現(xiàn)最優(yōu)控制。
　　本文課題分別就策略評價算法以及策略尋優(yōu)算法兩方面展開研究:
　　策略評價方面，針對基于最小二乘函數(shù)逼近時序差分算法的快速性以及輸出精度和穩(wěn)定性上進行進一步改善。首先，針對在強化學習問題中基于極

2、限學習機(Extreme learning machine，ELM)的最小二乘時序差分學習算法計算效率低的問題，本文提出采用具有單抑制特性的Softplus激活函數(shù)代替?zhèn)鹘y(tǒng)的Sigmoid函數(shù)，用以減少算法計算量。其次，針對傳統(tǒng)ELM輸入層權值隨機的不穩(wěn)定性問題，在學習過程中加入正則化因子，有效地克服了值函數(shù)逼近器的過擬合問題，從而更好地估計值函數(shù)真實值。然后，針對樣本利用率，加入了資格跡方法，提出基于改進ELM的最小二乘時序差分算法(

3、Least-squares temporal difference learning algorithm based on improvedextreme learning machine，IELM-LSTD)。同時，為了進一步提高計算速度，從算法復雜度角度出發(fā)，將遞推方法引入到IELM-LSTD算法中，消去最小二乘中的矩陣求逆過程，形成遞歸最小二乘算法，提出基于改進ELM的遞歸最小二乘時序差分算法(recursive least-sq

4、uares temporal difference learning algorithm based on improved extreme learning machine，IELM-RLSTD)，有效降低了算法復雜度并提高了在線計算速度。通過廣義Hop-word實驗以及倒立擺實驗，驗證了所提算法在計算速度和穩(wěn)定性上的提高。
　　策略優(yōu)化方面，在改善策略評價算法的基礎上，結合傳統(tǒng)的策略迭代技術，提出了基于改進ELM的最小二乘Q（

5、λ）策略尋優(yōu)算法(Recursive least-squares Q learning algorithm based on improved extreme learning machine，IELM-RLSQ(λ))，除了具有快速性及穩(wěn)定性外，該算法對Q函數(shù)值進行逼近，相比于傳統(tǒng)Q（λ）算法，本算法替代了采用表格存儲Q值的方法，用以解決更復雜的環(huán)境問題。以RPG游戲中尋路過程為實驗模型，進行路徑策略尋優(yōu)，實驗表明，所提算法在成功解決