基于模糊Q學習的Agent智能決策研究與實現.pdf

1、強化學習是一種無監(jiān)督的機器學習技術，能夠利用不確定的環(huán)境獎賞發(fā)現最優(yōu)的行為序列，實現動態(tài)環(huán)境下的在線學習，因此被廣泛用于Agent的智能決策。目前主流的強化學習算法是Q學習算法，但Q學習本身存在一些問題。首先，Q學習算法不能適用于連續(xù)狀態(tài)空間和動作空間的學習，其次，當狀態(tài)空間很大時，Q表在內存中的存儲以及查詢都變得十分困難。最后，Q學習算法的學習速度較慢。本文針對RoboCup中的具體問題，結合模糊推理系統對Q學習算法進行了一些擴充和改

2、進，使其適用于復雜環(huán)境下的Agent智能決策。本文的主要研究工作如下： 1.提出一種模糊Q學習算法，通過模糊推理系統將連續(xù)的狀態(tài)空間映射到連續(xù)的動作空間，然后通過學習得到一個完整的規(guī)則庫。這個規(guī)則庫可以為Agent的動作選擇提供依據，通過這個規(guī)則庫可以實現動態(tài)規(guī)劃。我們將這個算法應用于RoboCup中，實現了踢球策略的優(yōu)化。 2.針對RoboCup中的截球問題，提出了一種多回報模糊Q學習算法。該算法采用模糊邏輯對狀態(tài)空間

3、進行泛化，能夠實現連續(xù)狀態(tài)空間和離散動作序列的學習，通過學習得到一個完整的規(guī)則庫。為了實現Agent短期利益和長期回報間的平衡，算法從不同角度考慮動作的回報值。我們應用該算法成功的解決了RoboCup中的截球問題和2VS1高層決策問題。 3.提出了一種基于先驗知識的模塊化FuzzyQ學習算法，用于解決連續(xù)狀態(tài)空間下的多Agent學習問題。該算法采用模糊推理系統進行狀態(tài)空間的泛化，使用先驗知識以提高算法在初始階段的性能。另外，為了