基于Q學(xué)習(xí)的RoboCup Agent智能策略的研究與應(yīng)用.pdf

1、機(jī)器人世界杯足球賽(The Robot World Cup,簡稱RoboCup),是典型的MAS(Multi-Agent Systems,簡記為MAS)問題,可以用來評價多種人工智能理論、算法和體系結(jié)構(gòu)。
　　強(qiáng)化學(xué)習(xí)是一種以環(huán)境反饋作為輸入的、特殊的、適應(yīng)環(huán)境的、從環(huán)境狀態(tài)到行為映射以使系統(tǒng)行為從環(huán)境中獲得的累積獎賞值最大的機(jī)器學(xué)習(xí)方法。該方法不同于監(jiān)督學(xué)習(xí)技術(shù)那樣通過正例、反例來告知采取何種行為,而是通過試錯的方法來發(fā)現(xiàn)最優(yōu)行

2、為策略,因此廣泛應(yīng)用于Agent的智能決策。目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法。本文針對RoboCup中的幾個具體問題,從Q學(xué)習(xí)算法、模糊Q學(xué)習(xí)算法、分層模糊Q學(xué)習(xí)算法三個方面分別闡述其在RoboCup中的Agent智能決策學(xué)習(xí)。本文的研究內(nèi)容主要包括以下三個方面:
　　首先,針對RoboCup中守門員的防守策略問題,傳統(tǒng)的幾何計算得到的防守策略已經(jīng)不能適應(yīng)比賽中多變的情況。RoboCup的比賽環(huán)境是動態(tài)、復(fù)雜的開放環(huán)境,利用Q學(xué)

3、習(xí)算法,分別離散守門員的狀態(tài)空間、動作空間,制定獎賞策略函數(shù),通過試錯的方法來發(fā)現(xiàn)最優(yōu)行為策略,實驗結(jié)果證明了Q學(xué)習(xí)算法在守門員防守決策學(xué)習(xí)問題上的有效性。
　　其次,針對大規(guī)律強(qiáng)化學(xué)習(xí)的維數(shù)災(zāi)難問題,結(jié)合Q學(xué)習(xí)算法和模糊推理系統(tǒng),應(yīng)用模糊Q學(xué)習(xí)算法,解決Q學(xué)習(xí)處理連續(xù)的狀態(tài)空間和連續(xù)的動作空間能力不足的弊端,通過學(xué)習(xí)得到一個規(guī)則庫,進(jìn)而為Agent的動作選擇提供依據(jù)。我們將這個算法應(yīng)用于RoboCup的帶球問題中,實現(xiàn)了帶球策略