多智能體強(qiáng)化學(xué)習(xí)及其在機(jī)器人足球中的應(yīng)用研究.pdf

1、多智能體強(qiáng)化學(xué)習(xí)目前是多智能體系統(tǒng)研究的一個(gè)重要熱點(diǎn)。在多智能體系統(tǒng)中，環(huán)境在多個(gè)智能體的聯(lián)合動(dòng)作下進(jìn)行狀態(tài)的遷移。對(duì)于單個(gè)智能體來講，由于其只能確定自身智能體的行為動(dòng)作，因此產(chǎn)生出另一種形式的非標(biāo)準(zhǔn)馬爾可夫環(huán)境。機(jī)器人足球成為研究多智能體系統(tǒng)的典型問題。機(jī)器人足球比賽將過去計(jì)算機(jī)象棋中的單智能體研究對(duì)象發(fā)展到分布式多智能體；靜態(tài)研究環(huán)境發(fā)展到動(dòng)態(tài)環(huán)境；并將非實(shí)時(shí)知識(shí)處理問題發(fā)展到實(shí)時(shí)處理問題，機(jī)器人足球是繼計(jì)算機(jī)象棋后出現(xiàn)的發(fā)展人工智

2、能的第二個(gè)里程碑，它將人工智能技術(shù)發(fā)展到新的境界。
　　本文的主要研究內(nèi)容是多智能體強(qiáng)化學(xué)習(xí)算法的研究及其在機(jī)器人足球平臺(tái)中的應(yīng)用，針對(duì)多智能體強(qiáng)化學(xué)習(xí)中存在的難點(diǎn)，本文主要對(duì)強(qiáng)化學(xué)習(xí)的連續(xù)空間問題和多智能體學(xué)習(xí)平衡收斂標(biāo)準(zhǔn)這兩個(gè)主要問題進(jìn)行了探討，并提出了相應(yīng)的解決方法。同時(shí)將所提出的算法用于機(jī)器人足球的標(biāo)準(zhǔn)問題-傳球問題，通過相應(yīng)的實(shí)驗(yàn)驗(yàn)證了算法的有效性。本文的主要研究內(nèi)容及創(chuàng)新性成果包括以下幾個(gè)方面：
　　1)針對(duì)強(qiáng)化

3、學(xué)習(xí)最典型的函數(shù)估計(jì)方法-梯度下降法的非收斂性問題，本文探討了造成此問題的主要原因。對(duì)于靜態(tài)數(shù)據(jù)的泛化問題，一般采用樣本的最小均方誤差作為衡量算法性能的標(biāo)準(zhǔn)。當(dāng)函數(shù)估計(jì)與強(qiáng)化學(xué)習(xí)方法結(jié)合時(shí)，需要提出一種新的衡量標(biāo)準(zhǔn)。根據(jù)壓縮映射原理，本文提出了基于線性平均的強(qiáng)化學(xué)習(xí)算法，這種方法的思想是將強(qiáng)化學(xué)習(xí)的值函數(shù)估計(jì)函數(shù)構(gòu)造成一個(gè)壓縮函數(shù)，這樣，權(quán)值的更新過程符合壓縮原理，將收斂到局部最優(yōu)。本文將此算法用于強(qiáng)化學(xué)習(xí)的標(biāo)準(zhǔn)問題-MountainC

4、ar問題，驗(yàn)證了算法的收斂性。并在機(jī)器人足球中應(yīng)用了這種方法，進(jìn)一步證明了此方法可以用于解決連續(xù)狀態(tài)空間強(qiáng)化學(xué)習(xí)問題。
　?。?策略梯度法是另一種解決函數(shù)估計(jì)不收斂問題的方法，它的主要思想是用一個(gè)單獨(dú)的函數(shù)來表示策略，這種方法的難點(diǎn)是策略函數(shù)與價(jià)值函數(shù)參數(shù)的更新方法。本文提出的方法是通過構(gòu)造策略函數(shù)與價(jià)值函數(shù)參數(shù)間的某種關(guān)系，利用價(jià)值函數(shù)來控制策略函數(shù)沿著策略優(yōu)化的方向來修正函數(shù)值。此算法在MountainCar問題及機(jī)器人足球中

5、也得到了驗(yàn)證，證明算法是收斂的并且是有效的。
　?。?Nash平衡作為隨機(jī)對(duì)策框架下的一種主要的多智能強(qiáng)化學(xué)習(xí)方法存在兩個(gè)問題，關(guān)于一般和問題的納什平衡選取問題，及擴(kuò)展到連續(xù)狀態(tài)空間的可行性問題。本文認(rèn)為，最佳響應(yīng)方法更符合多智能體強(qiáng)化學(xué)習(xí)的理性及收斂性這兩個(gè)衡量算法的標(biāo)準(zhǔn)，并且容易擴(kuò)展到連續(xù)空間問題。本文將策略梯度法與WoLF-PHC方法結(jié)合，提出一種用于連續(xù)狀態(tài)空間的多智能體強(qiáng)化學(xué)習(xí)算法。它的基本思想是，如果算法的性能得到改進(jìn)

6、，則減慢學(xué)習(xí)速度，反之，則加快學(xué)習(xí)速度。通過算法在機(jī)器人足球中這個(gè)多智能體問題中的應(yīng)用，證明了這種多智能體強(qiáng)化學(xué)習(xí)方法可以提高智能體的學(xué)習(xí)性能。
　?。?對(duì)于多智能體強(qiáng)化學(xué)習(xí)算法的研究大部分基于理論探討，很少應(yīng)用于實(shí)際的多智能體系統(tǒng)中，本文研究了多智能體強(qiáng)化學(xué)習(xí)方法在機(jī)器人足球中的應(yīng)用。本文研究了機(jī)器人足球仿真平臺(tái)的使用方法，智能體的構(gòu)造方法及實(shí)驗(yàn)的設(shè)計(jì)，驗(yàn)證方法。通過解決一個(gè)標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)問題，驗(yàn)證了算法的可行性及使用效果。