基于學習技術(shù)的一類隨機系統(tǒng)最優(yōu)控制研究.pdf

1、Q學習等強化學習技術(shù)是解決一類離散事件動態(tài)系統(tǒng)優(yōu)化問題的有效方法，已經(jīng)廣泛應(yīng)用到各類實際問題的研究中，特別是可拓展到可用半Markov決策過程(SMDP)建模的系統(tǒng)優(yōu)化中。本文運用采樣技術(shù)，將這類方法引入到一階連續(xù)時間非線性隨機系統(tǒng)，以解決其最優(yōu)控制問題。 論文針對一階連續(xù)時間非線性隨機系統(tǒng)的特點，通過勒貝格采樣方法，將其優(yōu)化控制問題建模為半Markov決策過程。首先基于事件驅(qū)動優(yōu)化方法和Q學習技術(shù)，給出了一階連續(xù)時間非線性隨機

2、系統(tǒng)在折扣和平均優(yōu)化準則下統(tǒng)一的優(yōu)化算法。其次，論文在性能勢理論框架下，引入一種在線策略迭代方法，以解決該類系統(tǒng)的最優(yōu)控制問題。該方法利用樣本軌道仿真技術(shù)，并基于歷史訪問信息進行性能勢學習，通過適當探索技術(shù)實現(xiàn)狀態(tài)-行動對，即Q因子的學習。另外，還基于歷史訪問信息，建立了一種隨機有向探索機制，提高了探索的效率和安全性。 最后，我們通過一階連續(xù)時間非線性隨機系統(tǒng)例子，針對兩種不同代價函數(shù)定義，分別采用Q學習和在線策略迭代方法，給出