多智能體強化學習及其在機器人足球中的應(yīng)用研究.pdf

1、多智能體強化學習目前是多智能體系統(tǒng)研究的一個重要熱點。在多智能體系統(tǒng)中，環(huán)境在多個智能體的聯(lián)合動作下進行狀態(tài)的遷移。對于單個智能體來講，由于其只能確定自身智能體的行為動作，因此產(chǎn)生出另一種形式的非標準馬爾可夫環(huán)境。機器人足球成為研究多智能體系統(tǒng)的典型問題。機器人足球比賽將過去計算機象棋中的單智能體研究對象發(fā)展到分布式多智能體；靜態(tài)研究環(huán)境發(fā)展到動態(tài)環(huán)境；并將非實時知識處理問題發(fā)展到實時處理問題，機器人足球是繼計算機象棋后出現(xiàn)的發(fā)展人工智

2、能的第二個里程碑，它將人工智能技術(shù)發(fā)展到新的境界。
　　本文的主要研究內(nèi)容是多智能體強化學習算法的研究及其在機器人足球平臺中的應(yīng)用，針對多智能體強化學習中存在的難點，本文主要對強化學習的連續(xù)空間問題和多智能體學習平衡收斂標準這兩個主要問題進行了探討，并提出了相應(yīng)的解決方法。同時將所提出的算法用于機器人足球的標準問題-傳球問題，通過相應(yīng)的實驗驗證了算法的有效性。本文的主要研究內(nèi)容及創(chuàng)新性成果包括以下幾個方面：
　　1)針對強化

3、學習最典型的函數(shù)估計方法-梯度下降法的非收斂性問題，本文探討了造成此問題的主要原因。對于靜態(tài)數(shù)據(jù)的泛化問題，一般采用樣本的最小均方誤差作為衡量算法性能的標準。當函數(shù)估計與強化學習方法結(jié)合時，需要提出一種新的衡量標準。根據(jù)壓縮映射原理，本文提出了基于線性平均的強化學習算法，這種方法的思想是將強化學習的值函數(shù)估計函數(shù)構(gòu)造成一個壓縮函數(shù)，這樣，權(quán)值的更新過程符合壓縮原理，將收斂到局部最優(yōu)。本文將此算法用于強化學習的標準問題-MountainC

4、ar問題，驗證了算法的收斂性。并在機器人足球中應(yīng)用了這種方法，進一步證明了此方法可以用于解決連續(xù)狀態(tài)空間強化學習問題。
　　２)策略梯度法是另一種解決函數(shù)估計不收斂問題的方法，它的主要思想是用一個單獨的函數(shù)來表示策略，這種方法的難點是策略函數(shù)與價值函數(shù)參數(shù)的更新方法。本文提出的方法是通過構(gòu)造策略函數(shù)與價值函數(shù)參數(shù)間的某種關(guān)系，利用價值函數(shù)來控制策略函數(shù)沿著策略優(yōu)化的方向來修正函數(shù)值。此算法在MountainCar問題及機器人足球中

5、也得到了驗證，證明算法是收斂的并且是有效的。
　?。?Nash平衡作為隨機對策框架下的一種主要的多智能強化學習方法存在兩個問題，關(guān)于一般和問題的納什平衡選取問題，及擴展到連續(xù)狀態(tài)空間的可行性問題。本文認為，最佳響應(yīng)方法更符合多智能體強化學習的理性及收斂性這兩個衡量算法的標準，并且容易擴展到連續(xù)空間問題。本文將策略梯度法與WoLF-PHC方法結(jié)合，提出一種用于連續(xù)狀態(tài)空間的多智能體強化學習算法。它的基本思想是，如果算法的性能得到改進

6、，則減慢學習速度，反之，則加快學習速度。通過算法在機器人足球中這個多智能體問題中的應(yīng)用，證明了這種多智能體強化學習方法可以提高智能體的學習性能。
　　４)對于多智能體強化學習算法的研究大部分基于理論探討，很少應(yīng)用于實際的多智能體系統(tǒng)中，本文研究了多智能體強化學習方法在機器人足球中的應(yīng)用。本文研究了機器人足球仿真平臺的使用方法，智能體的構(gòu)造方法及實驗的設(shè)計，驗證方法。通過解決一個標準的強化學習問題，驗證了算法的可行性及使用效果。