基于MAS的多機器人系統(tǒng)高層協(xié)作機器學習機制研究.pdf

1、由于多機器人系統(tǒng)具有更廣泛的任務(wù)領(lǐng)域、更高的效率、容錯性、魯棒性、更低的經(jīng)濟成本等諸多顯著特性,近年來逐漸成為機器人領(lǐng)域的研究熱點。其中,協(xié)調(diào)協(xié)作的實現(xiàn)是多機器人系統(tǒng)研究的核心問題。人工智能領(lǐng)域的智能體和多智能體理論(Multiple Agent System,MAS)對多機器人學的研究產(chǎn)生了深刻影響,利用智能體和MASN論研究多機器人系統(tǒng)的相關(guān)問題已日益成為趨勢。多智能體協(xié)作是指多個智能體通過協(xié)調(diào)各自行為,合作完成共同目標。目前實現(xiàn)多

2、智能體協(xié)作比較先進的方法是神經(jīng)網(wǎng)絡(luò)、強化學習、遺傳算法等幾種機器學習算法相結(jié)合,使機器人智能體產(chǎn)生能適應(yīng)環(huán)境并完成目標任務(wù)的動作行為。 機器人足球Robocup是一個典型的多智能體系統(tǒng)問題,是近此年來多機器人系統(tǒng)研究最吸引人的測試平臺。由于機器人足球提供了比其它平臺復(fù)雜得多的環(huán)境,因此,一般認為能夠在機器人足球環(huán)境中運用的結(jié)構(gòu)和算法,在大部分情況下足以完成其它平臺提出的任務(wù)。 本文主要研究在機器人足球仿真平臺Robocu

3、p仿真組上綜合利用幾種機器學習算法獲取多智能體系統(tǒng)高層協(xié)作策略問題。主要研究工作包括： (1)將結(jié)合CMAC神經(jīng)網(wǎng)絡(luò)泛化的Sarsa(λ)強化學習算法應(yīng)用到Robocuo的子任務(wù)Keepaway平臺,得到了較其他非學習方法更好的效果； (2)Keepaway平臺是標準的機器學習算法比較平臺。在標準平臺上比較了Sarsa(λ)和Q(λ)算法,實驗結(jié)果表明Sarsa學習比Q學習更適合大規(guī)模連續(xù)空間的任務(wù)； (3)為了

4、提升強化學習算法在多智能體系統(tǒng)中的最終學習效果,根據(jù)Keepaway平臺總是以失敗告終的特點,受與之有相同特點的的桿平衡系統(tǒng)所采用強化函數(shù)的啟發(fā),重新設(shè)計了一種新的懲罰式的強化函數(shù)。仿真結(jié)果表明,新設(shè)計的強化函數(shù)有效提高了強化學習算法在Keepaway平臺的性能表現(xiàn)； (4)強化學習應(yīng)用于多智能體系統(tǒng)有收斂速度很慢的缺點。通過調(diào)整同時學習的智能體個數(shù)分別進行仿真實驗,確定了同時學習的智能體數(shù)量相對于任務(wù)的復(fù)雜度才是影響多智能體系