近似動(dòng)態(tài)規(guī)劃的非線性多輸入多輸出與優(yōu)化控制研究.pdf

1、近似動(dòng)態(tài)規(guī)劃是近年來發(fā)展起來的一種優(yōu)化控制方法。它采用動(dòng)態(tài)規(guī)劃的基本理論，吸取了強(qiáng)化學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)、計(jì)算機(jī)仿真等領(lǐng)域的理論與成果，成功地解決了動(dòng)態(tài)規(guī)劃的“維數(shù)災(zāi)”問題，特別適用于以某一性能指標(biāo)最小化為目標(biāo)的優(yōu)化控制問題。2007年，IEEE協(xié)會(huì)在夏威夷召開了第一屆以近似動(dòng)態(tài)規(guī)劃與強(qiáng)化學(xué)習(xí)為主題的國際會(huì)議，宣告了近似動(dòng)態(tài)規(guī)劃的重要地位。目前，近似動(dòng)態(tài)規(guī)劃已經(jīng)在一些領(lǐng)域中獲得了成功的應(yīng)用，并有三種主要類型。其中，執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃是

2、應(yīng)用最為廣泛的一種，因?yàn)樗恍枰豢貙?duì)象的數(shù)學(xué)模型。然而無論在理論還是應(yīng)用上，近似動(dòng)態(tài)規(guī)劃都還不夠完善，特別是在非線性多輸入多輸出系統(tǒng)的控制問題上研究得更少，而實(shí)際系統(tǒng)又多為非線性多輸入多輸出形式，所以這是應(yīng)用近似動(dòng)態(tài)規(guī)劃之前，必須深入研究的一個(gè)重要課題。
　　本文的主要目的是研究非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃推導(dǎo)的數(shù)學(xué)基礎(chǔ)；根據(jù)實(shí)際對(duì)象歸納出四種典型的非線性多輸入多輸出形式，對(duì)應(yīng)系統(tǒng)地提出四種非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)

3、規(guī)劃及其在線學(xué)習(xí)算法；并證明其穩(wěn)定與收斂性能；最后分別采用實(shí)時(shí)仿真與實(shí)驗(yàn)，研究了推導(dǎo)與證明過程的正確性、以及這四種方法的優(yōu)化控制應(yīng)用。
　　本文采用數(shù)學(xué)推導(dǎo)證明、數(shù)值仿真與實(shí)驗(yàn)相結(jié)合的方法來研究非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃?；诜醋C法證明了復(fù)合矩陣/向量函數(shù)的求導(dǎo)不一定滿足鏈?zhǔn)椒▌t，并研究出其數(shù)學(xué)解決方法；從而構(gòu)建與推導(dǎo)出四種非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃及其在線學(xué)習(xí)算法；采用李雅譜諾夫穩(wěn)定性理論證明了這些方法的穩(wěn)定與

4、收斂性能；仿真與實(shí)驗(yàn)充分考慮了這些方法的特點(diǎn)，能實(shí)時(shí)實(shí)驗(yàn)這些方法的控制應(yīng)用及性能指標(biāo)。
　　對(duì)非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃推導(dǎo)的數(shù)學(xué)基礎(chǔ)研究表明，除兩種特殊情況以外，復(fù)合矩陣/向量函數(shù)的求導(dǎo)不一定滿足鏈?zhǔn)椒▌t。因此在非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃學(xué)習(xí)算法的推導(dǎo)過程中僅采用標(biāo)量對(duì)標(biāo)量的求導(dǎo)，以確保其具有嚴(yán)密的數(shù)學(xué)基礎(chǔ)。
　　對(duì)四種典型系統(tǒng)的非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃及其在線學(xué)習(xí)算法的研究表明，根據(jù)上述數(shù)學(xué)解決方

5、法，以標(biāo)準(zhǔn)執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃的網(wǎng)絡(luò)結(jié)構(gòu)及其學(xué)習(xí)算法為基礎(chǔ)：
　　(1)將標(biāo)準(zhǔn)近似動(dòng)態(tài)規(guī)劃的執(zhí)行網(wǎng)絡(luò)輸出層擴(kuò)展為多輸出，可推出執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法的非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃。該方法的計(jì)算量較小，適用于各執(zhí)行輸出屬于同一數(shù)量級(jí)，而各輸入變量之間不具有函數(shù)關(guān)系的場(chǎng)合。
　　(2)將標(biāo)準(zhǔn)近似動(dòng)態(tài)規(guī)劃的執(zhí)行網(wǎng)絡(luò)根據(jù)控制變量的數(shù)目復(fù)制為多份，多份執(zhí)行網(wǎng)絡(luò)組成并聯(lián)結(jié)構(gòu)，可推出子網(wǎng)方法的非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)

6、劃。該方法能解決多輸出變量不屬于同一數(shù)量級(jí)或者數(shù)值差別較大的問題，但增加了一些計(jì)算量。子網(wǎng)方法的多個(gè)執(zhí)行網(wǎng)絡(luò)應(yīng)當(dāng)在同一時(shí)間步長內(nèi)學(xué)習(xí)和更新權(quán)值，以防止學(xué)習(xí)算法的混疊。
　　(3)將標(biāo)準(zhǔn)近似動(dòng)態(tài)規(guī)劃的執(zhí)行網(wǎng)絡(luò)根據(jù)控制變量的數(shù)目復(fù)制為多份，多份執(zhí)行網(wǎng)絡(luò)組成串聯(lián)結(jié)構(gòu)，可推出級(jí)聯(lián)執(zhí)行網(wǎng)絡(luò)方法的非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃。該方法適用于多輸入變量之間具有函數(shù)關(guān)系的場(chǎng)合，同時(shí)該方法也利用此函數(shù)關(guān)系來簡化控制器的設(shè)計(jì)。由于誤差的反向

7、傳播，其前級(jí)執(zhí)行網(wǎng)絡(luò)的權(quán)值更新計(jì)算要比后級(jí)執(zhí)行網(wǎng)絡(luò)的復(fù)雜得多，但本質(zhì)上可以等效于訓(xùn)練一個(gè)多層神經(jīng)網(wǎng)絡(luò)的權(quán)值。
　　(4)上述三種方法之中的任意兩種或三種相組合，可得到組合方法的非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃，用于控制更加復(fù)雜的對(duì)象。上述四種方法的前向計(jì)算與在線學(xué)習(xí)算法均不同于標(biāo)準(zhǔn)近似動(dòng)態(tài)規(guī)劃的，需采用本文提出的前向計(jì)算與在線學(xué)習(xí)算法來求解。
　　對(duì)非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃的穩(wěn)定與收斂性能研究表明，采用李雅普諾

8、夫直接法可以證明出以平方加權(quán)和以及二次型形式定義的效用函數(shù)，其非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃具有李雅普諾夫意義下的穩(wěn)定性，即是收斂的。從而第一次從效用函數(shù)的角度證明了非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃的穩(wěn)定與收斂性能，同時(shí)也為效用函數(shù)的設(shè)計(jì)提供了依據(jù)。
　　對(duì)非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃的仿真控制研究表明，所推導(dǎo)出的執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法、子網(wǎng)方法以及級(jí)聯(lián)執(zhí)行網(wǎng)絡(luò)方法能有效地仿真控制發(fā)動(dòng)機(jī)怠速缸平衡或飛行器的縱向俯仰角

9、度，從而證明了這些方法的可行性，以及其前向計(jì)算與在線學(xué)習(xí)算法推導(dǎo)的正確性。其中，執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法在優(yōu)化發(fā)動(dòng)機(jī)怠速缸平衡的控制時(shí)不需要檢測(cè)轉(zhuǎn)速波動(dòng)來自哪一缸，就能智能地補(bǔ)償由于器件差異、老化或燃燒情況等導(dǎo)致的一個(gè)發(fā)動(dòng)機(jī)循環(huán)上轉(zhuǎn)速的波動(dòng)；并且在相同迭代次數(shù)時(shí)，執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法的控制速度最快，它可能比現(xiàn)有發(fā)表結(jié)果的收斂速度都要快兩倍，其控制精度也比子網(wǎng)方法的高。子網(wǎng)方法的評(píng)價(jià)網(wǎng)絡(luò)誤差收斂有一個(gè)明顯的長時(shí)間振蕩過程，而執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法的則沒有。

10、子網(wǎng)方法的評(píng)價(jià)與執(zhí)行網(wǎng)絡(luò)誤差收斂到極小值的逼近過程也比執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法的長，相應(yīng)其達(dá)到控制過程最終穩(wěn)定的迭代次數(shù)也要多幾倍。對(duì)于每100次隨機(jī)初始化權(quán)值的迭代訓(xùn)練，執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法的控制成功率約為10％，而子網(wǎng)方法的控制成功率約為19%。
　　非線性多輸入多輸出近似動(dòng)態(tài)規(guī)劃的實(shí)驗(yàn)研究也表明，執(zhí)行網(wǎng)絡(luò)擴(kuò)展方法的近似動(dòng)態(tài)規(guī)劃控制器不需要檢測(cè)轉(zhuǎn)速波動(dòng)來自哪一缸，就能智能地調(diào)節(jié)四個(gè)缸的噴油量來補(bǔ)償不平衡的燃燒與器件差異等，從而改善WAPS

11、柴油機(jī)怠速缸平衡控制效果，證明了近似動(dòng)態(tài)規(guī)劃控制器在實(shí)際工業(yè)中也具有一定的控制效果。并且借鑒了基于dSPACE的V實(shí)驗(yàn)?zāi)Ｊ剑捎肧imulink建模代替了控制方法的編程，從而加速和簡化了實(shí)驗(yàn)流程，縮短了實(shí)驗(yàn)周期，同時(shí)為新控制功能的設(shè)計(jì)提供了圖形化的接口。因此本實(shí)驗(yàn)也為柴油機(jī)怠速缸平衡智能優(yōu)化控制增添了新的內(nèi)容。
　　總之，本文所提出的四種非線性多輸入多輸出執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃方法幾乎可用來求解所有非線性多輸入多輸出系統(tǒng)的近似動(dòng)態(tài)