連續(xù)時間線性隨機Markovian跳變系統(tǒng)的在線自適應優(yōu)化控制算法研究.pdf

1、本文研究了一類連續(xù)時間線性隨機Markovian跳變系統(tǒng)的在線自適應優(yōu)化控制器設計算法。并提出了一種新的在線解耦技術(shù)，即“子系統(tǒng)轉(zhuǎn)換”，用于分離Markovian跳變系統(tǒng)中子系統(tǒng)之間的耦合關系，進而將這種耦合關系表示為一個顯性的迭代數(shù)學表達式?；诜e分強化學習的方法（即，近似動態(tài)規(guī)劃的手段），本文提出了兩種新的策略迭代算法用于求解連續(xù)時間線性隨機Markovian跳變系統(tǒng)的H2/H∞優(yōu)化控制器設計問題。需要指出的是，這兩種新的策略迭代算

2、法是基于“兩步迭代”的結(jié)構(gòu)，即“策略評判”和“策略改進”。
　　本文所給出的在線策略迭代算法的最大優(yōu)勢在于，求解對應優(yōu)化控制器時，僅需要利用系統(tǒng)的部分動態(tài)信息，而不需要系統(tǒng)的完整動態(tài)信息。而且，與現(xiàn)有的離線計算迭代算法相比，本文中所給出的新的在線策略迭代算法具有更快的收斂速度。本文的主要工作和貢獻具體體現(xiàn)在如下五個方面:
　　1.相比較于一般的連續(xù)時間線性或者非線性系統(tǒng)，連續(xù)時間線性隨機Markovian跳變系統(tǒng)有兩個組成部

3、分，即跳變的“模態(tài)”和連續(xù)的“狀態(tài)”，其中，跳變的“模態(tài)”取決于有限狀態(tài)Markov鏈，而連續(xù)的“狀態(tài)”則由一個微分方程所決定。連續(xù)時間線性隨機Markovian跳變系統(tǒng)的變量不僅與連續(xù)時間域有關，還依賴于所定義的概率空間。所以，已有的針對連續(xù)時間線性或者非線性系統(tǒng)的“近似動態(tài)規(guī)劃”方法，就不可能完全適用。考慮到系統(tǒng)動態(tài)信息不完全獲知的前提下，求解得到其最優(yōu)控制器，本文提出了一種新的解耦技術(shù)，即“子系統(tǒng)轉(zhuǎn)換”。借助于“并行算法”，利用“

4、子系統(tǒng)”轉(zhuǎn)換技術(shù)，將Markovian跳變系統(tǒng)之間的耦合關系被表示為一個顯性的等式迭代關系，即“耦合關系改進”。在建立在線自適應優(yōu)化控制器設計算法的過程中，這個顯性的迭代等式起到了非常重要的作用。相關的內(nèi)容見第二章和第四章。
　　2.在第二章中，研究了連續(xù)時間線性隨機Markovian跳變系統(tǒng)的在線自適應H2優(yōu)化控制器的設計算法問題。通過子系統(tǒng)解耦技術(shù)，本章節(jié)將Markovian跳變系統(tǒng)分離為N個具有耦合關系的子系統(tǒng)。在已知部分動

5、態(tài)信息的前提下，應用所給出的在線策略迭代算法求解連續(xù)時間耦合代數(shù)Riccati方程，并獲得最終的依賴于模態(tài)的控制器增益序列。本章節(jié)不僅證明了算法的收斂性，并通過仿真示例用來驗證這個策略迭代算法的有效性和可行性。
　　3.在第三章中，給出了兩個計算迭代算法用來求解耦合的對策代數(shù)Riccati方程，并求解出連續(xù)時間線性隨機Markovian跳變系統(tǒng)的H∞控制器。這兩個數(shù)值迭代算法都是基于Kleinman迭代的框架提出的。首先，本章節(jié)給

6、出了“直接并行Kleinman迭代算法”，并證明了其收斂性。隨后，通過引入了一個更廣義的數(shù)值迭代算法，即“廣義并行Kleinman迭代算法”，研究了其四種不同情況的迭代算法。最后，數(shù)值示例驗證了這兩個數(shù)值迭代算法的有效性。
　　4.在第四章中，提出了一種新的在線策略迭代算法，用于求解連續(xù)時間線性隨機Markovian跳變系統(tǒng)的H∞優(yōu)化控制問題?；诘谌碌摹爸苯硬⑿蠯leinman迭代算法”，并結(jié)合“子系統(tǒng)轉(zhuǎn)換”手段，將隨機Mar