基于Markov決策理論的足球機(jī)器人協(xié)同機(jī)制研究.pdf

1、多智能體系統(tǒng)的協(xié)調(diào)和協(xié)作機(jī)制，是目前人工智能研究的重點(diǎn)領(lǐng)域之一。多智能體系統(tǒng)的廣泛應(yīng)用決定了研究其協(xié)調(diào)協(xié)作機(jī)制有很大的現(xiàn)實(shí)意義。
　　本文以機(jī)器人足球比賽為背景，研究基于Markov決策過程(MDP)理論的多智能體協(xié)調(diào)和協(xié)作機(jī)制，完成的主要研究成果如下:
　　首先在一類通信條件良好的集中式控制方式下，基于任務(wù)層次分解的決策框架，結(jié)合博弈論的有關(guān)概念和方法，提出了一種基于效用函數(shù)預(yù)測的在線策略規(guī)劃算法。在FIRA2D仿真組比賽

2、平臺(tái)上的實(shí)驗(yàn)結(jié)果表明，該算法能夠進(jìn)行合理的行為選擇，實(shí)現(xiàn)良好的團(tuán)隊(duì)合作效果。
　　其次，針對(duì)一類感知和通信受限的分布式大規(guī)模決策問題，應(yīng)用基于MAXQ值函數(shù)分解的任務(wù)層次分解方法，提出了一種在線策略求解算法，MAXQ-RTP算法。該算法設(shè)計(jì)了一種充分利用問題域受限的感知和通信資源的多智能體決策系統(tǒng)框架，基于與或圖表示可行策略，在線實(shí)時(shí)地求解當(dāng)前狀態(tài)下的最優(yōu)策略，可用于解決連續(xù)狀態(tài)空間和動(dòng)作空間的決策規(guī)劃問題。
　　論文的主體

3、實(shí)驗(yàn)工作在分布式控制的RoboCup2D仿真組比賽平臺(tái)上進(jìn)行。通過對(duì)智能體有限感知和通信、決策系統(tǒng)規(guī)模等特點(diǎn)的分析，采用基于MAXQ值函數(shù)分解的MDP任務(wù)層次分解方法對(duì)球員智能體的決策問題進(jìn)行建模，通過MAXQ-RTP算法在線求解智能體的最優(yōu)策略。實(shí)驗(yàn)結(jié)果表明，該方法有較高的計(jì)算效率，通過協(xié)同決策使球隊(duì)取勝的效果良好。
　　由于使用MDP模型進(jìn)行球員智能體建模中對(duì)隊(duì)友和對(duì)手策略的簡化處理，上述MAXQ-RTP算法有可能丟失一些最優(yōu)