基于智能體系統(tǒng)的Q-學習算法的研究與改進.pdf

1、強化學習是一種無監(jiān)督學習方法，使智能體能夠在環(huán)境模型未知的情況下利用環(huán)境獎賞發(fā)現最優(yōu)的行為序列，因此被廣泛用于智能體系統(tǒng)中。Q-學習算法是最易理解和目前廣為使用的一種無模型強化學習方法，但標準的 Q-學習算法應用于智能體系統(tǒng)時本身存在一些問題。 首先，強化學習在與環(huán)境交互時，不得不采用試探的方法來學習策略，同時智能體僅僅靠外部的評價來調整自己的行為，這勢必要經過一個漫長的學習過程。其次標準的 Q-學習算法通常用于處理離散狀態(tài)的問

2、題，但是智能體系統(tǒng)所處的環(huán)境通常是狀態(tài)空間連續(xù)的。如何解決在連續(xù)狀態(tài)環(huán)境下多智能體學習問題，也是許多學者研究的課題。基于此本文針對Q-學習算法在智能體系統(tǒng)中應用時遇到的這些問題，對 Q-學習算法進行了一些改進和擴充，改善其在智能體系統(tǒng)中應用的學習效果。 本文的主要研究工作如下： 首先，針對強化學習學習速度慢的缺點，本文提出一種基于啟發(fā)知識的 Q-學習算法，該算法在標準的Q．學習算法中加入具有啟發(fā)知識的函數來影響學習過程中

3、智能體動作選擇，從而加快智能體在復雜環(huán)境中的學習速度。仿真結果表明，相比較于標準的 Q-學習算法，智能體通過學習可以更快學習到正確決策，有效提高了智能體學習速度。 同時，提出一種具有啟發(fā)知識的并行 Q-學習算法，在該算法中，參與學習的各智能體獨立的執(zhí)行基于啟發(fā)知識的 Q-學習算法，智能體通過交流學習成果、融合啟發(fā)知識、共享學習結果，提高整個多智能體系統(tǒng)的學習效率。將算法應用在多智能體仿真環(huán)境中，取得了較好的學習效果。 最

4、后，提出了一種結合模塊化學習的模糊Q．學習算法，解決連續(xù)狀態(tài)空間下的多智能體強化學習問題。算法利用模糊推理對狀態(tài)空間進行泛化，同時采用了模塊化的方法，將復雜的任務進行分解以減小狀態(tài)空間的規(guī)模，提高學習效率。并且應用一種非均勻的表示結構來設計強化函數，對不同的動作給予不同的獎勵和懲罰。最后將提出的算法應用在多智能體捕獵的仿真環(huán)境中，從仿真的曲線中可以明顯的看出來，捕獵智能體的移動步數逐漸達到平穩(wěn)，有效的完成了學習過程，系統(tǒng)整體性能達到了最