連續(xù)空間非參函數(shù)逼近方法研究.pdf

1、強化學(xué)習是一種試錯學(xué)習,可解決無模型問題,在沒有任何先驗知識的情況下, Agent通過與環(huán)境不斷交互實現(xiàn)基于自身經(jīng)驗的學(xué)習。本文研究的是連續(xù)狀態(tài)動作空間的問題,傳統(tǒng)的解決方法是離散化狀態(tài)或動作空間,為了保證一定的精度,離散化方法會導(dǎo)致狀態(tài)動作空間非常大,從而引起“維數(shù)災(zāi)”。本文提出三種基于行動者-評論家(Actor-Critic,AC)架構(gòu)的算法,其中Critic部分使用非參函數(shù)逼近來解決連續(xù)狀態(tài)空間“維數(shù)災(zāi)”問題,Actor部分使用策

2、略梯度尋找動作。
　　本研究主要內(nèi)容包括：⑴針對已有的非參方法存在樣本利用率低的問題,提出了一種基于核的遞歸最小二乘AC算法。行動者部分給出了一種基于核的策略梯度算法,在估計策略梯度時,用核函數(shù)逼近器逼近真實的Q值。評論家部分提出了一種基于ALD的KRLSTD-Q算法,在消除了矩陣的逆運算同時,可以充分利用樣本信息。通過Mountain Car的仿真實驗驗證了算法的有效性。⑵鑒于高斯核函數(shù)的有效性,提出了一個基于最小二乘支持向量回

3、歸(LSSVR)的AC算法。該算法的行動者部分使用的是策略梯度算法,為了使該算法具有可行性,提出了一種在策略評估樣本集和策略改進樣本集上協(xié)調(diào)工作的方式。使用ALD方法稀疏化策略評估樣本集,產(chǎn)生數(shù)據(jù)字典。評論家用LSSVR方法在數(shù)據(jù)字典上回歸V值函數(shù),行動者在策略改進樣本集上改進策略。⑶前兩種算法都是離線的,針對離線方法不具有實時性的問題,提出了一種基于GPTD的在線AC算法。該算法的行動者部分提出了一種在線的策略梯度算法,能夠適應(yīng)核的增