多智能體系統(tǒng)的學習策略研究.pdf

1、強化學習是一種無監(jiān)督學習方法，它能夠使智能體在環(huán)境模型未知的情況下利用環(huán)境獎賞發(fā)現(xiàn)最優(yōu)的行為序列，因此被廣泛用于多智能體系統(tǒng)中（如RoboCup足球仿真系統(tǒng)）。目前主流的強化學習算法是Q學習算法，Q學習算法的應用能夠大大改善系統(tǒng)的性能，但Q學習也存在不如人意的地方。本論文針對Q學習算法的學習速度慢這一問題進行了深入的探討，提出結合啟發(fā)知識函數(shù)的Q學習算法，改進了標準Q學習算法的效果。本文主要內容如下： 首先，簡要介紹了本課題的研

2、究內容、目的意義、國內外發(fā)展狀況和研究方法等，針對機器學習是人工智能領域研究的熱點，及在多智能體系統(tǒng)的廣泛應用。對比分析了機器學習的各種學習策略，闡述了它們的基本原理、結構、分類和適合應用的系統(tǒng)環(huán)境。結合RoboCup仿真系統(tǒng)的特點，我們最終選擇強化學習作為改善我們球隊協(xié)作策略的主要算法。然后，論文闡述了強化學習理論的原理、組成要素和分類。對比分析了強化學習四種算法的學習原理、結構特點和適用對象?；谖覀兎抡媲蜿牭膶嶋H情況，橫向比較了幾

3、種強化學習應用于球隊協(xié)作策略的效果，選擇以Q學習算法為本文的主要改進算法。 其次，針對標準Q學習算法學習速度慢的缺點，本文提出一種基于啟發(fā)知識的改進型Q學習算法，該算法在標準的Q學習算法中加入具有啟發(fā)知識的函數(shù)來影響學習過程中智能體動作選擇，從而加快了智能體在復雜環(huán)境中的學習速度。然后，提出了一種具有啟發(fā)知識的并行Q學習算法，在該算法中，參與學習的各智能體獨立的執(zhí)行基于啟發(fā)知識的Q學習算法的同時，智能體通過交流學習成果、融合啟發(fā)

4、知識、共享學習結果，提高整個多智能體系統(tǒng)的學習效率。 最后，論文利用Matlab仿真驗證了啟發(fā)式Q學習算法的有效性并給出了兩個實例。實例中的智能體能夠通過學習快速的選擇動作，其學習速度和決策判斷的準確度比標準Q學習算法都有明顯的提高。我們將啟發(fā)式Q學習算法應用于RoboCup仿真球隊中，并與應用了標準Q學習算法的球隊進行比賽。結果顯示，啟發(fā)式Q學習算法的球隊隊員協(xié)作能力遠遠強于標準Q學習算法的球隊。相比較于標準的Q學習算法，智能