多機器人追捕問題的研究.pdf

1、多機器人追捕問題是研究機器人之間協(xié)調(diào)和協(xié)作的最理想的平臺。將強化學(xué)習(xí)算法應(yīng)用到追捕問題當中可以使多機器人系統(tǒng)主動的去探索環(huán)境,適應(yīng)環(huán)境,從而提高自身的性能和穩(wěn)定性,而直接將標準的強化學(xué)習(xí)算法直接應(yīng)用于多機器人系統(tǒng)會使得系統(tǒng)的狀態(tài)空間隨機器人數(shù)量成指數(shù)倍增長,從而導(dǎo)致算法收斂速度緩慢,難以在實際中應(yīng)用。對此本文以降低系統(tǒng)狀態(tài)空間的大小,提高算法的收斂速度為目的,進行了如下研究:
　　首先,介紹了強化學(xué)習(xí)算法的基本框架和它的數(shù)學(xué)模型,

2、并列舉了常用的強化學(xué)習(xí)算法及其算法流程。簡單描述了多機器人追捕問題及其狀態(tài)抽象、動作抽象和回報函數(shù)的定義,并考慮到傳統(tǒng)狀態(tài)抽象法中存在狀態(tài)重復(fù)的問題,提出了動態(tài)ID狀態(tài)抽象法來降低系統(tǒng)狀態(tài)空間的大小,并與傳統(tǒng)的狀態(tài)抽象法在使用標準Q學(xué)習(xí)算法的基礎(chǔ)上進行比較。
　　其次,介紹了分層強化學(xué)習(xí)的基本原理,采用分層強化學(xué)習(xí)中的狀態(tài)空間分解法來將原狀態(tài)空間分為多個部分,即采用OPTION-Q學(xué)習(xí)算法使最優(yōu)策略的求解過程分散到每個子空間上,從