部分可觀察Markov決策過程中基于內(nèi)部狀態(tài)的強化學(xué)習(xí)研究.pdf

1、強化學(xué)習(xí)是機器學(xué)習(xí)的一個重要分支，它模擬動物學(xué)習(xí)過程，通過試探的方法修正從狀態(tài)到動作的映射策略，最終學(xué)會在各種環(huán)境狀態(tài)下采取最好的反應(yīng)行為，從而提高智能系統(tǒng)的自適應(yīng)性和魯棒性。 盡管強化學(xué)習(xí)技術(shù)已有很多研究成果和應(yīng)用范例，但是還有許多沒有解決的問題，不完全感知問題就是其中一個難點問題。目前對于這類問題一般采用POMDP模型進行求解。 但是，由于求解POMDP模型的計算復(fù)雜度高，所以只能處理規(guī)模較小簡單的問題。本文分別在模

2、型優(yōu)化和算法改進等方面做了一些研究，論文的主要工作如下： 首先，在POMDP模型中引入Agent的內(nèi)部狀態(tài)，利用學(xué)習(xí)的歷史經(jīng)驗值，提出一種基于內(nèi)部狀態(tài)的POMDP強化學(xué)習(xí)改進模型。通過對實例問題策略的描述，實現(xiàn)了降低策略復(fù)雜度和學(xué)習(xí)隨機性的目的。 其次，在模型改進的基礎(chǔ)上，進一步引入資格跡(the eligibility trace)的思想，并提出了相應(yīng)的基于策略梯度的近似強化學(xué)習(xí)算法：PGI-POMDP算法，降低了近似