一種足球機器人多智能體對抗系統(tǒng)的分層變學習率增強式學習方法.pdf

1、該文以足球仿真機器人系統(tǒng)為研究平臺,研究多智能體對抗系統(tǒng)的高層策略學習問題.通過對足球機器人系統(tǒng)的分析和研究,使用模糊手段描述了復雜的足球機器人狀態(tài)空間;提出將MAXQ多智體分層增強式學習方法應用于足球機器人進攻策略的學習;并進一步提出通過融入一種在對抗系統(tǒng)中具有良好特性的變學習率學習法則而得到一種適合于多智能體對抗系統(tǒng)的策略學習方法.多智能體系統(tǒng)是近年來人工智能領域的研究熱點.它所體現(xiàn)出的群體智能、社會特性比起單智能體系統(tǒng),更加符合許

2、多應用領域的特點.足球機器人系統(tǒng)由于其可實現(xiàn)性,對抗性,系統(tǒng)模型的信息不完備性迅速成為這一研究領域的標準問題之一.多智能體系統(tǒng)的所有熱點問題,如主體的研究、群體協(xié)作、智能體間通信等都體現(xiàn)在足球機器人仿真平臺上,該文集中研究足球機器人高層策略的分層學習.通過對足球機器人仿真系統(tǒng)特點的研究,從中提練出進攻策略學習問題作為該文的研究問題.環(huán)境的描述是智能體學習的先決條件.多智能體系統(tǒng)的智能體大都處在復雜、時變、信息動態(tài)不完備的環(huán)境中.其環(huán)境描

3、述需要根據(jù)具體問題來進行.該文分析了足球機器人系統(tǒng)的結構和參數(shù)特點,將模糊方法應用于描述其智能體(即單個球員)的狀態(tài)空間,使用一個合理的狀態(tài)數(shù)目有效描述了智能體所處的狀態(tài).MAXQ分層多智能體學習方法是近年來被提出的一種新方法.它改進了傳統(tǒng)的單智能體增強式學習方法,以適應多智能體環(huán)境的智能學習.該文將其應用于足球機器人系統(tǒng)的進攻策略學習.實驗證明該方法產生的策略能夠實現(xiàn)進攻目的,適用于該文提出的足球機器人進攻策略學習.足球機器人同時又是