基于多智能體強化學習的足球機器人決策策略研究.pdf

1、分布式人工智能近十幾年受到了廣泛地關注與發(fā)展，多智能體系統(tǒng)也成為了研究的熱點，將其強化學習相結(jié)合，可以得到多智能體的強化學習。本文以一個典型的多智能體系統(tǒng)即足球機器人系統(tǒng)為研究對象，研究了多智能體的強化學習尤其是多智能體Q學習問題及其在足球機器人決策中的應用問題。
　　首先，介紹了課題的研究背景和現(xiàn)狀，介紹了該課題所具有的重要的理論意義和實踐意義。對多智能體系統(tǒng)和足球機器人系統(tǒng)進行了闡述。
　　其次，研究了智能體的強化學習問

2、題，對其基本概念與原理給予了分析。對智能體強化學習的框架模型即馬爾可夫決策過程進行了研究，分析了其中的關鍵因素，包括回報、策略、值函數(shù)、動作探索等。具體分析了三種強化學習算法，分別為TD算法、Q學習算法和Sarsa算法。給出了多智能體系統(tǒng)的描述方式，討論了多智能體系統(tǒng)的強化學習的特點和方法。
　　再次，將模擬退火算法的思想引入到智能體強化學習的動作探索策略中，得到基于模擬退火的智能體Q學習算法，為學習中動作的探索與利用提供了一個科

3、學的解決辦法，給出了基于模擬退火的智能體Q學習的算法流程。并將此算法應用到足球機器人的尋球策略學習中，對其學習空間、獎懲函數(shù)等進行了分析與設計，并利用MATLAB平臺進行了仿真驗證。
　　最后，結(jié)合足球機器人決策的特點，對多智能體強化學習的角色轉(zhuǎn)換和經(jīng)驗共享進行了分析，提出了基于角色轉(zhuǎn)換和經(jīng)驗共享的多智能體Q學習。并將其應用到足球機器人的局部進攻策略中，利用此算法對隊伍中的主機器人的動作選擇策略進行學習，并利用MATLAB平臺進行