一類非線性系統(tǒng)的強化學(xué)習(xí)自抗擾控制研究.pdf

1、未知非線性系統(tǒng)的控制一直以來都是控制領(lǐng)域內(nèi)的重要課題，由于系統(tǒng)動態(tài)未知，許多需要機理模型的控制算法都難以實施，而強化學(xué)習(xí)方法由于能夠在未知的環(huán)境中通過與環(huán)境的交互自主學(xué)習(xí)，找到近似最優(yōu)控制策略且不需要系統(tǒng)結(jié)構(gòu)信息等先驗知識，使其成為未知非線性系統(tǒng)控制的理想算法。近些年來，強化學(xué)習(xí)已在這一領(lǐng)域取得諸多成果，然而，現(xiàn)實中的非線性系統(tǒng)往往受到各種擾動的影響，而強化學(xué)習(xí)的抗擾能力卻不夠強大，在大擾動下系統(tǒng)輸出往往會大幅偏離設(shè)定值，系統(tǒng)性能嚴重衰

2、退。針對這一問題，本文研究了如何在具有強非仿射特性的未知非線性純反饋系統(tǒng)控制中提高強化學(xué)習(xí)的控制精度和抗擾能力。
　　由于傳統(tǒng)強化學(xué)習(xí)算法的動作和狀態(tài)都是在有限集中，因而在非線性系統(tǒng)控制中應(yīng)用最多的是的連續(xù)強化學(xué)習(xí)算法，也就是動作-評價網(wǎng)絡(luò)結(jié)構(gòu)的強化學(xué)習(xí)。在應(yīng)用中，該類算法存在這樣的一些問題:
　　1.對擾動的抑制能力十分有限。隨著擾動逐漸增大，控制效果急劇衰退，直至發(fā)散。
　　2.當(dāng)參考軌跡連續(xù)變化時，尤其是變化軌跡

3、的彎曲程度較大時，追蹤誤差會變得很大。
　　針對強化學(xué)習(xí)在未知非線性系統(tǒng)控制中存在的問題，本文首先建立了一套動作-評價網(wǎng)絡(luò)結(jié)構(gòu)的連續(xù)強化學(xué)習(xí)算法，它采用了一個特別的性能指標函數(shù)以避免使用系統(tǒng)動態(tài)函數(shù)，然后做了如下的改進:
　　1.為了提高控制系統(tǒng)追蹤連續(xù)軌跡的能力，尤其是在參考軌跡曲度較大時的控制效果。我們設(shè)計了一個與參考軌跡有關(guān)的因子，利用它動態(tài)地調(diào)整執(zhí)行器網(wǎng)絡(luò)的權(quán)重更新速率，使得系統(tǒng)在參考軌跡曲度變大時能更加及時地調(diào)整控

4、制策略。
　　2.為了提高控制系統(tǒng)的抗擾能力，利用擴張狀態(tài)觀測器將未知的外部擾動和內(nèi)部參數(shù)攝動等效為一個總擾動，將其應(yīng)用在控制律中，抵消內(nèi)外擾動的影響，削弱系統(tǒng)的不確定性，幫助強化學(xué)習(xí)提高其抑制擾動能力。
　　3.最后，我們將強化學(xué)習(xí)算法與線性自抗擾相結(jié)合，用自抗擾控制器代替?zhèn)鹘y(tǒng)的神經(jīng)網(wǎng)絡(luò)執(zhí)行器，調(diào)整了控制器的權(quán)值更新方式，大幅提高了系統(tǒng)的抗擾能力和控制精度。同時，待調(diào)參數(shù)數(shù)目減少，大大調(diào)高了算法的訓(xùn)練速度。
　　為了

5、驗證改進強化學(xué)習(xí)算法的有效性，將它們應(yīng)用在未知非線性純反饋系統(tǒng)的追蹤控制上，并給出基于擴張狀態(tài)觀測器的強化學(xué)習(xí)算法(reinforcement learning-extended state observer，RL-ESO，基于改進1和2)和基于線性自抗擾的強化學(xué)習(xí)算法(reinforcement learning-active disturbance rejection control，RL-ADRC，基于改進3)的原理與設(shè)計流程。在