基于性能勢的隨機系統(tǒng)最優(yōu)控制.pdf

1、本文主要研究隨機系統(tǒng)的最優(yōu)控制問題，尋找適用于非線性系統(tǒng)的在線優(yōu)化算法。論文將隨機控制系統(tǒng)看作連續(xù)狀態(tài)的馬爾可夫決策過程，通過系統(tǒng)的性能勢建立優(yōu)化方程，進一步利用優(yōu)化方程得到策略迭代算法。性能勢可以由系統(tǒng)的樣本路徑估算得到，該算法既適用于線性系統(tǒng)又適用于非線性系統(tǒng)，并且便于在線計算。 全文由以下五部分組成： 第一部分：介紹隨機系統(tǒng)最優(yōu)控制的研究背景和意義，概述隨機系統(tǒng)最優(yōu)控制的研究歷史和現(xiàn)狀、研究內(nèi)容和研究方法。

2、 第二部分：介紹本文所需的預(yù)備知識，包括常用的隨機過程，特別介紹了馬爾可夫過程和隨機系統(tǒng)最優(yōu)控制的一般理論。 第三部分：將隨機控制系統(tǒng)看作馬爾可夫決策過程，根據(jù)系統(tǒng)的性能勢建立優(yōu)化方程和策略迭代算法。進一步給出在線算法的方法和步驟，并嘗試?yán)蒙窠?jīng)網(wǎng)絡(luò)來加快在線算法的計算速度。 第四部分：將基于性能勢的策略迭代算法應(yīng)用到隨機線性系統(tǒng)最優(yōu)控制問題上，得到了求解最優(yōu)控制律的黎卡提方程，其導(dǎo)出過程有別于傳統(tǒng)方法。并將該算法與貝爾