基于增強(qiáng)學(xué)習(xí)的優(yōu)化控制方法及其在移動(dòng)機(jī)器人中的應(yīng)用.pdf

1、與傳統(tǒng)的監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)不同，增強(qiáng)學(xué)習(xí)（Reinforcement Learning，RL）通過與環(huán)境進(jìn)行交互來獲得評(píng)價(jià)性的反饋信號(hào)，利用值函數(shù)或者策略的估計(jì)來實(shí)現(xiàn)序貫決策過程的優(yōu)化。為了克服大規(guī)模狀態(tài)與行為空間帶來的計(jì)算量巨大的“維數(shù)災(zāi)難”，人們通常將值函數(shù)逼近技術(shù)與增強(qiáng)學(xué)習(xí)算法相結(jié)合來實(shí)現(xiàn)對大規(guī)?？臻g優(yōu)化控制問題的求解。同時(shí)，由于增強(qiáng)學(xué)習(xí)具有對模型信息依賴少、能夠?qū)崿F(xiàn)控制器的自適應(yīng)優(yōu)化等特點(diǎn)，它在移動(dòng)機(jī)器人路徑跟蹤控制方面的應(yīng)用

2、也受到廣泛關(guān)注。本文在國家自然科學(xué)基金項(xiàng)目的支持下，對基于增強(qiáng)學(xué)習(xí)的優(yōu)化控制方法進(jìn)行了深入的研究，同時(shí)通過將改進(jìn)的增強(qiáng)學(xué)習(xí)方法與經(jīng)典控制算法相結(jié)合來實(shí)現(xiàn)移動(dòng)機(jī)器人的高精度路徑跟蹤控制。本文取得的研究成果包括：
　　1.對帶有梯度修正項(xiàng)的線性時(shí)域差值學(xué)習(xí)算法（linear TD with gradient correction，TDC）進(jìn)行了深入研究，通過與控制算法相結(jié)合，使其應(yīng)用范圍從解決學(xué)習(xí)預(yù)測問題拓展到了學(xué)習(xí)控制問題，并提出了

3、兩種基于TDC的改進(jìn)優(yōu)化控制算法——改進(jìn)Q-Learning算法和改進(jìn)HDP算法。由于TDC算法是一種嚴(yán)格意義的隨機(jī)梯度下降法，因此它能夠保證改進(jìn)Q-Learning在進(jìn)行離策略（off-policy）學(xué)習(xí)時(shí)的收斂性，并提高算法控制效果。通過對Mountain-Car和倒立擺的仿真研究，分別驗(yàn)證了兩種改進(jìn)算法在解決離散動(dòng)作和連續(xù)動(dòng)作優(yōu)化決策問題時(shí)的有效性，并且討論了不同學(xué)習(xí)步長參數(shù)對算法控制效果的影響。
　　2.為了克服函數(shù)逼近器

4、中基函數(shù)選擇的困難，本文提出了一種基于流形表示的基函數(shù)自動(dòng)構(gòu)造方法并將其用于DHP算法評(píng)價(jià)器網(wǎng)絡(luò)的構(gòu)建中，從而給出了基于測地線拉普拉斯特征映射的對偶啟發(fā)式規(guī)劃算法（Dual Heuristic Programming based on Geodesic Laplacian Eigenmaps，GLEM-DHP）。文中分別利用了板-球和倒立擺兩種典型的非線性系統(tǒng)對算法進(jìn)行了測試，并通過將控制結(jié)果與其它算法相比較，體現(xiàn)了基于GLEM算法的基

5、函數(shù)自動(dòng)構(gòu)造技術(shù)對于值函數(shù)逼近效果的改善，同時(shí)也展現(xiàn)了GLEM-DHP算法優(yōu)良的控制性能。
　　3.針對傳統(tǒng)PID算法中參數(shù)選擇困難的問題，本文結(jié)合了DHP算法的學(xué)習(xí)優(yōu)化能力，提出了一種自學(xué)習(xí)PID控制算法——DHP-PID，并用于解決移動(dòng)機(jī)器人的路徑跟蹤控制問題。DHP算法能夠根據(jù)參考軌跡的變化以及系統(tǒng)當(dāng)前狀態(tài)進(jìn)行在線學(xué)習(xí)，并通過DHP結(jié)構(gòu)中的執(zhí)行器網(wǎng)絡(luò)輸出優(yōu)化后的PID參數(shù)，從而達(dá)到減小跟蹤誤差的目的。文中分別利用多種的參考軌

6、跡對算法進(jìn)行了測試，仿真結(jié)果均顯示出 DHP-PID算法具有比PID算法更好的跟蹤效果。本文還進(jìn)一步利用MobileSim仿真平臺(tái)對DHP-PID算法得到的控制器進(jìn)行了Pioneer3-AT型移動(dòng)機(jī)器人的路徑跟蹤控制仿真，并得到了較好的控制效果。
　　4.論文在仿真結(jié)果的基礎(chǔ)之上對算法進(jìn)行了實(shí)物實(shí)驗(yàn)。利用GLEM-DHP算法學(xué)得的控制器在Googol倒立擺實(shí)驗(yàn)平臺(tái)上進(jìn)行在線的實(shí)時(shí)控制實(shí)驗(yàn)，不僅驗(yàn)證了算法的現(xiàn)實(shí)可行性與有效性，更為增