基于單網(wǎng)絡(luò)模糊及無模型自適應(yīng)動(dòng)態(tài)規(guī)劃最優(yōu)控制方法的研究.pdf

1、眾所周知，很多方法都可以用來設(shè)計(jì)被控系統(tǒng)的穩(wěn)定控制器.而現(xiàn)實(shí)中，閉環(huán)穩(wěn)定僅僅是系統(tǒng)設(shè)計(jì)的最低要求.最優(yōu)控制不但可以保證系統(tǒng)的穩(wěn)定性能，還能使得系統(tǒng)性能最優(yōu)化.但是設(shè)計(jì)系統(tǒng)的最優(yōu)控制是一個(gè)具有難度和挑戰(zhàn)的研究課題.自適應(yīng)動(dòng)態(tài)規(guī)劃(ADP)是利用Bellman原理求解優(yōu)化和最優(yōu)控制問題的一種有效方法.特別地，它能應(yīng)用于非線性系統(tǒng)最優(yōu)控制的設(shè)計(jì).本文首次提出使用模糊逼近器（模糊雙曲模型/廣義模糊雙曲模型）取代神經(jīng)網(wǎng)絡(luò)逼近器近似獲取系統(tǒng)狀態(tài)與值

2、函數(shù)之間的映射關(guān)系，設(shè)計(jì)了非線性系統(tǒng)的最優(yōu)控制器.因?yàn)槟：平骶哂袑?shí)際物理意義，所以它的結(jié)構(gòu)可以由專家經(jīng)驗(yàn)和實(shí)驗(yàn)結(jié)果更理性得到.進(jìn)而這種新技術(shù)用于解決非線性多智能體一致最優(yōu)問題.另外，目前在ADP領(lǐng)域，對(duì)非線性系統(tǒng)和時(shí)滯系統(tǒng)的完全無模型最優(yōu)控制器的研究相對(duì)比較少，所以我們分別針對(duì)非線性系統(tǒng)和線性時(shí)滯系統(tǒng)提出了無模型最優(yōu)控制的ADP算法.
　　本文主要工作如下：
　　1.針對(duì)傳統(tǒng)ADP技術(shù)中神經(jīng)網(wǎng)絡(luò)沒有物理意義的缺點(diǎn)，提出了

3、一種基于模糊技術(shù)的自適應(yīng)動(dòng)態(tài)規(guī)劃方法，并利用該方法設(shè)計(jì)了非線性系統(tǒng)的最優(yōu)控制器.使用模糊雙曲模型(Fuzzy Hyperbolic Model，F(xiàn)HM)取代神經(jīng)網(wǎng)絡(luò)作為逼近器獲得系統(tǒng)狀態(tài)與值函數(shù)之間的映射關(guān)系.由于近似模型的逼近誤差導(dǎo)致了Hamilton-Jacobi-Bellman(HJB)方程的誤差，所以這里通過梯度下降法將該誤差最小化得到最優(yōu)解，進(jìn)而獲得最優(yōu)控制器.
　　2.模糊雙曲模型不具有萬能逼近性，它僅對(duì)在原點(diǎn)附近變化

4、的值函數(shù)逼近效果較好.而廣義模糊雙曲模型在緊集上可以逼近任意光滑函數(shù)，對(duì)于值函數(shù)來說它具有全局萬能逼近性.因此，我們用廣義模糊雙曲模型(Generalized FuzzyHyperbolic Model，GFHM)取代模糊雙曲模型逼近HJB方程的解（值函數(shù)），設(shè)計(jì)了非線性系統(tǒng)的最優(yōu)控制器，并且給出了該方法的穩(wěn)定性分析.這種模糊自適應(yīng)動(dòng)態(tài)規(guī)劃方法可以像基于神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)方法一樣得到廣泛應(yīng)用.
　　3.利用單網(wǎng)絡(luò)模糊自適應(yīng)動(dòng)態(tài)規(guī)劃方法

5、解決了多智能體一致最優(yōu)問題.這種方法結(jié)合了博弈理論，廣義模糊雙曲模型和自適應(yīng)動(dòng)態(tài)規(guī)劃技術(shù).首先，由Bellman原理建立了多智能體一致最優(yōu)問題的Hamilton-Jacobi(HJ)方程組.然后根據(jù)博弈理論，將該方程組的解和納什均衡之間建立起了理論聯(lián)系.引入模糊自適應(yīng)動(dòng)態(tài)規(guī)劃方法和策略迭代技術(shù)求解由GFHM得到的近似耦合HJ方程組.最后，利用Lyapunov穩(wěn)定理論證明了該方法的穩(wěn)定性，并且給出了權(quán)值估計(jì)誤差和局部一致誤差是最終一致有界

6、的結(jié)論.
　　4.針對(duì)模型未知的非線性系統(tǒng)，提出通過系統(tǒng)測(cè)量數(shù)據(jù)設(shè)計(jì)最優(yōu)控制器的ADP算法.為了解決系統(tǒng)模型未知的問題，利用一個(gè)補(bǔ)償器與原系統(tǒng)構(gòu)成一個(gè)增廣系統(tǒng).然后得到與該增廣系統(tǒng)相對(duì)應(yīng)的HJB方程，為了最小化自適應(yīng)動(dòng)態(tài)規(guī)劃算法中神經(jīng)網(wǎng)絡(luò)近似HJB方程的逼近誤差，我們利用最小二乘法更新神經(jīng)網(wǎng)絡(luò)權(quán)值.事實(shí)上，該方法的主要思想就是在最小二乘意義下，通過采樣狀態(tài)，狀態(tài)導(dǎo)數(shù)和系統(tǒng)輸入信息更新神經(jīng)網(wǎng)絡(luò)權(quán)值.這里的更新過程是在策略迭代算法框架