Q-learning研究及其在AUV局部路徑規(guī)劃中的應(yīng)用.pdf

1、局部路徑規(guī)劃是水下機(jī)器人(AUV)導(dǎo)航任務(wù)中的難點(diǎn).自適應(yīng)性是AUV所必須具有的關(guān)鍵能力.強(qiáng)化學(xué)習(xí)被認(rèn)為是獲取未知環(huán)境下自主機(jī)器人控制策略的比較合適的方法,最流行的強(qiáng)化學(xué)習(xí)是Q-學(xué)習(xí),因其簡(jiǎn)單并易于擴(kuò)展經(jīng)常被人們所采用.本文主要研究了強(qiáng)化學(xué)習(xí)理論及其在水下機(jī)器人局部路徑規(guī)劃中的應(yīng)用,具體完成的主要工作有:研究了強(qiáng)化學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)模型,確定了強(qiáng)化學(xué)習(xí)系統(tǒng)的組成;詳細(xì)討論了強(qiáng)化學(xué)習(xí)系統(tǒng)中的輸入模塊、輸出模塊及策略模塊的實(shí)現(xiàn)方法,并結(jié)合一般的

2、強(qiáng)化學(xué)習(xí)系統(tǒng),分析了強(qiáng)化學(xué)習(xí)系統(tǒng)的工作原理.研究了Q-學(xué)習(xí)的基本原理、算法和相關(guān)的幾種改進(jìn)算法,如Q(λ)算法和SARSA(λ)算法;區(qū)分了兩類強(qiáng)化學(xué)習(xí)算法:在策略和離策略算法;討論了SARSA(0)算法的收斂性.為強(qiáng)化學(xué)習(xí)應(yīng)用于實(shí)時(shí)決策系統(tǒng)提供了理論基礎(chǔ)和實(shí)現(xiàn)方法.針對(duì)標(biāo)準(zhǔn)Q-學(xué)習(xí)收斂速度較慢的缺點(diǎn),采用多步在策略SARSA(λ)強(qiáng)化學(xué)習(xí)算法,該算法克服了Q-學(xué)習(xí)收斂速度慢的缺點(diǎn),運(yùn)行軌跡平滑,訓(xùn)練過(guò)程相對(duì)比較安全.CMAC神經(jīng)網(wǎng)絡(luò)是

3、一個(gè)局部泛化網(wǎng)絡(luò),相比BP網(wǎng)絡(luò)有更快的收斂速度和更好的適應(yīng)性,非常適合用于動(dòng)態(tài)在線實(shí)時(shí)控制.本文提出了在連續(xù)狀態(tài)空間的機(jī)器人工作環(huán)境下多步在策略連續(xù)動(dòng)作強(qiáng)化學(xué)習(xí),針對(duì)移動(dòng)機(jī)器人局部路徑規(guī)劃問(wèn)題,用CMAC神經(jīng)網(wǎng)絡(luò)逼近連續(xù)狀態(tài)空間和Q函數(shù),產(chǎn)生與標(biāo)準(zhǔn)離散Q-學(xué)習(xí)網(wǎng)絡(luò)數(shù)據(jù)結(jié)構(gòu)相同的連續(xù)動(dòng)作.結(jié)果,該方法對(duì)于局部路徑規(guī)劃任務(wù)很有效,仿真結(jié)果表明,該方法在運(yùn)行性能和收斂速度兩方面都優(yōu)于其它的離散動(dòng)作的Q-學(xué)習(xí).首次采用路徑規(guī)劃和沿墻壁行走兩個(gè)強(qiáng)