連續(xù)狀態(tài)—動作空間下強化學(xué)習(xí)方法的研究.pdf

1、作為一類具有多學(xué)科交叉特點的機器學(xué)習(xí)方法，強化學(xué)習(xí)在復(fù)雜的決策優(yōu)化和控制問題中具有廣泛的應(yīng)用背景。但對于大規(guī)模或連續(xù)狀態(tài)和動作空間的馬氏決策問題，強化學(xué)習(xí)面臨著“維數(shù)災(zāi)”問題，從而限制了強化學(xué)習(xí)方法的進一步推廣應(yīng)用。為此，本文主要在大規(guī)模和連續(xù)空間下強化學(xué)習(xí)的理論及算法方面進行系統(tǒng)深入的研究。本文的主要內(nèi)容和研究成果如下： 首先，研究了離散狀態(tài)和離散動作空間的強化學(xué)習(xí)問題，提出了一種基于資格跡機制的加權(quán)遞歸最小二乘多步Q學(xué)習(xí)算法

2、，能夠?qū)崿F(xiàn)在線增量式學(xué)習(xí)，有效提高了算法的計算效率，并運用離散鞅理論對算法的收斂性進行了分析。 其次，針對具有連續(xù)狀態(tài)空間下的控制問題，設(shè)計出一種自適應(yīng)的強化學(xué)習(xí)算法。在Actor-Critic框架下，用一個歸一化RBF網(wǎng)絡(luò)同時逼近Critic的值函數(shù)和Actor的策略函數(shù)。由于Actor和Critic對網(wǎng)絡(luò)輸入層和隱層資源的共用，使得算法比較簡單，同時實現(xiàn)了對狀態(tài)空間的在線、自適應(yīng)構(gòu)建。 第三，提出了一類連續(xù)狀態(tài)與連續(xù)

3、動作空間下的加權(quán)Q學(xué)習(xí)算法。利用RBF網(wǎng)絡(luò)實現(xiàn)標準的Q學(xué)習(xí)，完成對離散動作效用值的逼近，然后采用加權(quán)規(guī)則對離散動作的效用值進行加權(quán)，得到作用于系統(tǒng)的連續(xù)動作，從而實現(xiàn)了將Q學(xué)習(xí)的應(yīng)用擴展到具有連續(xù)動作空間的控制問題。 第四，利用模糊推理的可理解性與RBF網(wǎng)絡(luò)的學(xué)習(xí)能力，首先構(gòu)建了一類基于模糊RBF網(wǎng)絡(luò)的模糊強化學(xué)習(xí)體系結(jié)構(gòu)，然后基于此體系結(jié)構(gòu)，分別設(shè)計出模糊Actor-Critic學(xué)習(xí)和模糊Q學(xué)習(xí)。這兩種學(xué)習(xí)算法具有泛化性能好、