Q-learning研究及其在AUV局部路徑規(guī)劃中的應(yīng)用.pdf

1、局部路徑規(guī)劃是水下機器人(AUV)導(dǎo)航任務(wù)中的難點.自適應(yīng)性是AUV所必須具有的關(guān)鍵能力.強化學(xué)習(xí)被認為是獲取未知環(huán)境下自主機器人控制策略的比較合適的方法,最流行的強化學(xué)習(xí)是Q-學(xué)習(xí),因其簡單并易于擴展經(jīng)常被人們所采用.本文主要研究了強化學(xué)習(xí)理論及其在水下機器人局部路徑規(guī)劃中的應(yīng)用,具體完成的主要工作有:研究了強化學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)模型,確定了強化學(xué)習(xí)系統(tǒng)的組成;詳細討論了強化學(xué)習(xí)系統(tǒng)中的輸入模塊、輸出模塊及策略模塊的實現(xiàn)方法,并結(jié)合一般的

2、強化學(xué)習(xí)系統(tǒng),分析了強化學(xué)習(xí)系統(tǒng)的工作原理.研究了Q-學(xué)習(xí)的基本原理、算法和相關(guān)的幾種改進算法,如Q(λ)算法和SARSA(λ)算法;區(qū)分了兩類強化學(xué)習(xí)算法:在策略和離策略算法;討論了SARSA(0)算法的收斂性.為強化學(xué)習(xí)應(yīng)用于實時決策系統(tǒng)提供了理論基礎(chǔ)和實現(xiàn)方法.針對標準Q-學(xué)習(xí)收斂速度較慢的缺點,采用多步在策略SARSA(λ)強化學(xué)習(xí)算法,該算法克服了Q-學(xué)習(xí)收斂速度慢的缺點,運行軌跡平滑,訓(xùn)練過程相對比較安全.CMAC神經(jīng)網(wǎng)絡(luò)是

3、一個局部泛化網(wǎng)絡(luò),相比BP網(wǎng)絡(luò)有更快的收斂速度和更好的適應(yīng)性,非常適合用于動態(tài)在線實時控制.本文提出了在連續(xù)狀態(tài)空間的機器人工作環(huán)境下多步在策略連續(xù)動作強化學(xué)習(xí),針對移動機器人局部路徑規(guī)劃問題,用CMAC神經(jīng)網(wǎng)絡(luò)逼近連續(xù)狀態(tài)空間和Q函數(shù),產(chǎn)生與標準離散Q-學(xué)習(xí)網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)相同的連續(xù)動作.結(jié)果,該方法對于局部路徑規(guī)劃任務(wù)很有效,仿真結(jié)果表明,該方法在運行性能和收斂速度兩方面都優(yōu)于其它的離散動作的Q-學(xué)習(xí).首次采用路徑規(guī)劃和沿墻壁行走兩個強