基于狀態(tài)預(yù)測強(qiáng)化學(xué)習(xí)的移動機(jī)器人路徑規(guī)劃研究.pdf

1、隨著機(jī)器人技術(shù)的發(fā)展，機(jī)器人已開始應(yīng)用到未知環(huán)境，與靜態(tài)已知環(huán)境下的移動機(jī)器人路徑規(guī)劃研究相比較，對于動態(tài)未知環(huán)境探索應(yīng)用問題，環(huán)境的未知性和動態(tài)變化都給機(jī)器人路徑規(guī)劃帶來了新的挑戰(zhàn)。由于機(jī)器人不具有環(huán)境的先驗知識，移動機(jī)器人在環(huán)境探索過程中不可避免的會遇到各式各樣的障礙物，因此，研究具有靈活規(guī)劃和避障功能的移動機(jī)器人及其在未知環(huán)境下的路徑規(guī)劃具有重要的現(xiàn)實意義。本文將狀態(tài)預(yù)測與強(qiáng)化學(xué)習(xí)算法相結(jié)合，分別對靜態(tài)和動態(tài)障礙物未知環(huán)境下移動機(jī)

2、器人的路徑規(guī)劃進(jìn)行了研究。 文章首先對移動機(jī)器人環(huán)境探索中路徑規(guī)劃的研究內(nèi)容進(jìn)行了綜述，然后對移動機(jī)器人環(huán)境探索下路徑規(guī)劃的研究現(xiàn)狀及發(fā)展作了回顧，并對本論文的主要結(jié)構(gòu)進(jìn)行了概述。 其次，詳細(xì)介紹了有關(guān)移動機(jī)器人環(huán)境探索方面的知識、研究現(xiàn)狀及存在的問題，包括柵格地圖的創(chuàng)建、到達(dá)目標(biāo)點的代價和效用值的計算、目標(biāo)點的定義及分配策略等問題。然后，就路徑規(guī)劃的方法、傳感器系統(tǒng)及多移動機(jī)器人路徑規(guī)劃的沖突消解等相關(guān)內(nèi)容作了詳細(xì)的闡

3、述。 第三，詳細(xì)介紹了強(qiáng)化學(xué)習(xí)的基本概念、原理、方法、各種算法及研究現(xiàn)狀等問題，然后從單個機(jī)器人在靜態(tài)障礙物環(huán)境中的路徑規(guī)劃入手，以Q強(qiáng)化學(xué)習(xí)算法為基礎(chǔ)，通過合理劃分狀態(tài)空間與動作空間，設(shè)計強(qiáng)化函數(shù)，描述了該算法在路徑規(guī)劃中的具體應(yīng)用。 第四，將強(qiáng)化學(xué)習(xí)算法與“預(yù)測”的思想相結(jié)合用于單個機(jī)器人在動態(tài)環(huán)境下的路徑規(guī)劃，解決了針對規(guī)則運動障礙物和同時存在靜態(tài)、動態(tài)障礙物兩種環(huán)境的避障問題?？紤]到機(jī)器人前面每一步的決策對最后的

4、成功或失敗都有影響，所以在算法中引入資格跡(Eligibility trace)技術(shù)，采用改進(jìn)的Q學(xué)習(xí)算法實現(xiàn)控制。 第五，借用人類在動態(tài)復(fù)雜環(huán)境下確定自己下一步行動的預(yù)測機(jī)制思想，本文將狀態(tài)預(yù)測的方法與強(qiáng)化學(xué)習(xí)相結(jié)合，用于多移動機(jī)器人系統(tǒng)環(huán)境探索下的路徑規(guī)劃。較以往單純使用強(qiáng)化學(xué)習(xí)方法實現(xiàn)的路徑規(guī)劃，本文的方法更加合理的實現(xiàn)了機(jī)器人之間的避碰，并通過預(yù)測函數(shù)降低群體強(qiáng)化學(xué)習(xí)空間維數(shù)、加快了群體強(qiáng)化學(xué)習(xí)算法的收斂速度。