RoboCup仿真2D系統(tǒng)的研究.pdf

1、RoboCup機(jī)器人世界杯賽是近年來(lái)規(guī)模最大并且參與人數(shù)最多的高智能機(jī)器人足球比賽，其中仿真2D組比賽更是RoboCup世界杯中最古老的比賽項(xiàng)目之一，其中的多agent智能系統(tǒng)協(xié)作問(wèn)題也是當(dāng)前最熱門的研究方向之一。它為研究人員提供了一個(gè)標(biāo)準(zhǔn)的比賽平臺(tái)、命令和動(dòng)作接口。RoboCup聯(lián)盟期望通過(guò)提供這樣的一個(gè)標(biāo)準(zhǔn)問(wèn)題，鼓勵(lì)研究人員通過(guò)各種技術(shù)手段來(lái)獲得人工智能和MAS(Multi-agent System，多智能體系統(tǒng))方面的解決方案，并

2、且可以通過(guò)該平臺(tái)進(jìn)行測(cè)試和實(shí)踐。
　　 在RoboCup聯(lián)盟提供比賽平臺(tái)的基礎(chǔ)上，各個(gè)學(xué)校和研究機(jī)構(gòu)開始研究學(xué)習(xí)算法，使得每個(gè)agent具有一定的學(xué)習(xí)能力，這樣才能保證在比賽中球隊(duì)能立于不敗之地，其中Q學(xué)習(xí)是最廣泛采用的學(xué)習(xí)算法之一。
　　 本文在Q學(xué)習(xí)基礎(chǔ)上對(duì)球隊(duì)的改進(jìn)如下:
　　 1、采用隨機(jī)對(duì)策的決策過(guò)程來(lái)代替單agent的馬爾可夫決策過(guò)程以解決MDP決策過(guò)程不能對(duì)球場(chǎng)的狀態(tài)變化有很好的反應(yīng)的問(wèn)題
　

3、　 2、根據(jù)隨機(jī)對(duì)策的內(nèi)容將復(fù)雜的球場(chǎng)環(huán)境分成三種情況分別討論（自己控球，我方控球和對(duì)方控球），并確定每種情況對(duì)應(yīng)不同的狀態(tài)-動(dòng)作對(duì)。
　　 3、通過(guò)對(duì)球場(chǎng)的精確劃分和采用相應(yīng)的補(bǔ)充控制方法，來(lái)對(duì)Q學(xué)習(xí)中的關(guān)鍵參數(shù)獎(jiǎng)賞值進(jìn)行計(jì)算以確保獎(jiǎng)賞值的連續(xù)性和單調(diào)性，同時(shí)根據(jù)此參數(shù)和改進(jìn)的算法來(lái)更新Q值使得機(jī)器人的學(xué)習(xí)效果更好。
　　 實(shí)驗(yàn)證明，通過(guò)對(duì)局部范圍內(nèi)的機(jī)器人都采用此算法，可以讓球員間在局部范圍內(nèi)的協(xié)作能力有明顯的加強(qiáng)