RoboCup中基于強化學習的多智能體協(xié)作研究.pdf

1、多智能體系統(tǒng)是分布式人工智能的一個典型問題，是由多個可計算的智能體組成的集合，它能協(xié)調(diào)一組自主體的行為(知識、目標、方法和規(guī)劃等)，以協(xié)同地動作和求解問題。RoboCup，即機器人世界杯足球賽，融合了自主機器人的設計、多智能體的合作與協(xié)調(diào)、決策調(diào)度、實時推理、機器人學和傳感器融合等多個領(lǐng)域的技術(shù)，已經(jīng)成為研究多智能體系統(tǒng)的一個標準實驗平臺。由于機器人足球仿真比賽具有動態(tài)實時性、對抗性、信息不完整等特點，自主智能體的學習和多智能體的協(xié)作已

2、經(jīng)成為該領(lǐng)域研究的主要方向。 本文以RoboCup仿真比賽為背景，進行了基于強化學習方法的多智能體之間的協(xié)作研究。主要的研究工作包括： (1)針對RoboCup仿真系統(tǒng)中多智能體的協(xié)作問題提出了特定狀態(tài)下的多智能體強化學習方法。傳統(tǒng)的強化學習方法是基于單個智能體的，而本文中的多智能體強化學習方法是分層的強化學習，多個智能體同時進行學習，進而得到最優(yōu)的聯(lián)合動作策略。在進行學習之前進行區(qū)域劃分，依據(jù)球所在區(qū)域的不同進行不同的

3、動作選擇，減少動作狀態(tài)空間，降低了學習復雜度，同時也有效地實現(xiàn)了RoboCup仿真系統(tǒng)中球員間的協(xié)作。 (2)將在策略強化學習方法—Sarsa算法應用到RoboCup仿真比賽的子任務3vs.2的keepaway平臺，研究3個智能體間的動作協(xié)作，以保持較長時間的控球權(quán)。由于去掉了仿真系統(tǒng)服務器對球員的一些限制，因此使得球員的動作學習和選擇體現(xiàn)在球員之間的協(xié)作上。通過與隨機策略下控球時間相比較，可以發(fā)現(xiàn)經(jīng)過強化學習后的球員具有更長的