部分可觀察Markov決策過(guò)程中基于內(nèi)部狀態(tài)的強(qiáng)化學(xué)習(xí)研究.pdf

1、強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，它模擬動(dòng)物學(xué)習(xí)過(guò)程，通過(guò)試探的方法修正從狀態(tài)到動(dòng)作的映射策略，最終學(xué)會(huì)在各種環(huán)境狀態(tài)下采取最好的反應(yīng)行為，從而提高智能系統(tǒng)的自適應(yīng)性和魯棒性。 盡管強(qiáng)化學(xué)習(xí)技術(shù)已有很多研究成果和應(yīng)用范例，但是還有許多沒(méi)有解決的問(wèn)題，不完全感知問(wèn)題就是其中一個(gè)難點(diǎn)問(wèn)題。目前對(duì)于這類問(wèn)題一般采用POMDP模型進(jìn)行求解。 但是，由于求解POMDP模型的計(jì)算復(fù)雜度高，所以只能處理規(guī)模較小簡(jiǎn)單的問(wèn)題。本文分別在模

2、型優(yōu)化和算法改進(jìn)等方面做了一些研究，論文的主要工作如下： 首先，在POMDP模型中引入Agent的內(nèi)部狀態(tài)，利用學(xué)習(xí)的歷史經(jīng)驗(yàn)值，提出一種基于內(nèi)部狀態(tài)的POMDP強(qiáng)化學(xué)習(xí)改進(jìn)模型。通過(guò)對(duì)實(shí)例問(wèn)題策略的描述，實(shí)現(xiàn)了降低策略復(fù)雜度和學(xué)習(xí)隨機(jī)性的目的。 其次，在模型改進(jìn)的基礎(chǔ)上，進(jìn)一步引入資格跡(the eligibility trace)的思想，并提出了相應(yīng)的基于策略梯度的近似強(qiáng)化學(xué)習(xí)算法：PGI-POMDP算法，降低了近似