多智能體系統(tǒng)的學(xué)習(xí)策略研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種無(wú)監(jiān)督學(xué)習(xí)方法，它能夠使智能體在環(huán)境模型未知的情況下利用環(huán)境獎(jiǎng)賞發(fā)現(xiàn)最優(yōu)的行為序列，因此被廣泛用于多智能體系統(tǒng)中（如RoboCup足球仿真系統(tǒng)）。目前主流的強(qiáng)化學(xué)習(xí)算法是Q學(xué)習(xí)算法，Q學(xué)習(xí)算法的應(yīng)用能夠大大改善系統(tǒng)的性能，但Q學(xué)習(xí)也存在不如人意的地方。本論文針對(duì)Q學(xué)習(xí)算法的學(xué)習(xí)速度慢這一問(wèn)題進(jìn)行了深入的探討，提出結(jié)合啟發(fā)知識(shí)函數(shù)的Q學(xué)習(xí)算法，改進(jìn)了標(biāo)準(zhǔn)Q學(xué)習(xí)算法的效果。本文主要內(nèi)容如下： 首先，簡(jiǎn)要介紹了本課題的研

2、究?jī)?nèi)容、目的意義、國(guó)內(nèi)外發(fā)展?fàn)顩r和研究方法等，針對(duì)機(jī)器學(xué)習(xí)是人工智能領(lǐng)域研究的熱點(diǎn)，及在多智能體系統(tǒng)的廣泛應(yīng)用。對(duì)比分析了機(jī)器學(xué)習(xí)的各種學(xué)習(xí)策略，闡述了它們的基本原理、結(jié)構(gòu)、分類和適合應(yīng)用的系統(tǒng)環(huán)境。結(jié)合RoboCup仿真系統(tǒng)的特點(diǎn)，我們最終選擇強(qiáng)化學(xué)習(xí)作為改善我們球隊(duì)協(xié)作策略的主要算法。然后，論文闡述了強(qiáng)化學(xué)習(xí)理論的原理、組成要素和分類。對(duì)比分析了強(qiáng)化學(xué)習(xí)四種算法的學(xué)習(xí)原理、結(jié)構(gòu)特點(diǎn)和適用對(duì)象?；谖覀兎抡媲蜿?duì)的實(shí)際情況，橫向比較了幾

3、種強(qiáng)化學(xué)習(xí)應(yīng)用于球隊(duì)協(xié)作策略的效果，選擇以Q學(xué)習(xí)算法為本文的主要改進(jìn)算法。 其次，針對(duì)標(biāo)準(zhǔn)Q學(xué)習(xí)算法學(xué)習(xí)速度慢的缺點(diǎn)，本文提出一種基于啟發(fā)知識(shí)的改進(jìn)型Q學(xué)習(xí)算法，該算法在標(biāo)準(zhǔn)的Q學(xué)習(xí)算法中加入具有啟發(fā)知識(shí)的函數(shù)來(lái)影響學(xué)習(xí)過(guò)程中智能體動(dòng)作選擇，從而加快了智能體在復(fù)雜環(huán)境中的學(xué)習(xí)速度。然后，提出了一種具有啟發(fā)知識(shí)的并行Q學(xué)習(xí)算法，在該算法中，參與學(xué)習(xí)的各智能體獨(dú)立的執(zhí)行基于啟發(fā)知識(shí)的Q學(xué)習(xí)算法的同時(shí)，智能體通過(guò)交流學(xué)習(xí)成果、融合啟發(fā)

4、知識(shí)、共享學(xué)習(xí)結(jié)果，提高整個(gè)多智能體系統(tǒng)的學(xué)習(xí)效率。 最后，論文利用Matlab仿真驗(yàn)證了啟發(fā)式Q學(xué)習(xí)算法的有效性并給出了兩個(gè)實(shí)例。實(shí)例中的智能體能夠通過(guò)學(xué)習(xí)快速的選擇動(dòng)作，其學(xué)習(xí)速度和決策判斷的準(zhǔn)確度比標(biāo)準(zhǔn)Q學(xué)習(xí)算法都有明顯的提高。我們將啟發(fā)式Q學(xué)習(xí)算法應(yīng)用于RoboCup仿真球隊(duì)中，并與應(yīng)用了標(biāo)準(zhǔn)Q學(xué)習(xí)算法的球隊(duì)進(jìn)行比賽。結(jié)果顯示，啟發(fā)式Q學(xué)習(xí)算法的球隊(duì)隊(duì)員協(xié)作能力遠(yuǎn)遠(yuǎn)強(qiáng)于標(biāo)準(zhǔn)Q學(xué)習(xí)算法的球隊(duì)。相比較于標(biāo)準(zhǔn)的Q學(xué)習(xí)算法，智能