基于智能體系統(tǒng)的Q-學(xué)習(xí)算法的研究與改進(jìn).pdf

1、強(qiáng)化學(xué)習(xí)是一種無監(jiān)督學(xué)習(xí)方法，使智能體能夠在環(huán)境模型未知的情況下利用環(huán)境獎(jiǎng)賞發(fā)現(xiàn)最優(yōu)的行為序列，因此被廣泛用于智能體系統(tǒng)中。Q-學(xué)習(xí)算法是最易理解和目前廣為使用的一種無模型強(qiáng)化學(xué)習(xí)方法，但標(biāo)準(zhǔn)的 Q-學(xué)習(xí)算法應(yīng)用于智能體系統(tǒng)時(shí)本身存在一些問題。 首先，強(qiáng)化學(xué)習(xí)在與環(huán)境交互時(shí)，不得不采用試探的方法來學(xué)習(xí)策略，同時(shí)智能體僅僅靠外部的評(píng)價(jià)來調(diào)整自己的行為，這勢(shì)必要經(jīng)過一個(gè)漫長的學(xué)習(xí)過程。其次標(biāo)準(zhǔn)的 Q-學(xué)習(xí)算法通常用于處理離散狀態(tài)的問

2、題，但是智能體系統(tǒng)所處的環(huán)境通常是狀態(tài)空間連續(xù)的。如何解決在連續(xù)狀態(tài)環(huán)境下多智能體學(xué)習(xí)問題，也是許多學(xué)者研究的課題?；诖吮疚尼槍?duì)Q-學(xué)習(xí)算法在智能體系統(tǒng)中應(yīng)用時(shí)遇到的這些問題，對(duì) Q-學(xué)習(xí)算法進(jìn)行了一些改進(jìn)和擴(kuò)充，改善其在智能體系統(tǒng)中應(yīng)用的學(xué)習(xí)效果。 本文的主要研究工作如下： 首先，針對(duì)強(qiáng)化學(xué)習(xí)學(xué)習(xí)速度慢的缺點(diǎn)，本文提出一種基于啟發(fā)知識(shí)的 Q-學(xué)習(xí)算法，該算法在標(biāo)準(zhǔn)的Q．學(xué)習(xí)算法中加入具有啟發(fā)知識(shí)的函數(shù)來影響學(xué)習(xí)過程中

3、智能體動(dòng)作選擇，從而加快智能體在復(fù)雜環(huán)境中的學(xué)習(xí)速度。仿真結(jié)果表明，相比較于標(biāo)準(zhǔn)的 Q-學(xué)習(xí)算法，智能體通過學(xué)習(xí)可以更快學(xué)習(xí)到正確決策，有效提高了智能體學(xué)習(xí)速度。 同時(shí)，提出一種具有啟發(fā)知識(shí)的并行 Q-學(xué)習(xí)算法，在該算法中，參與學(xué)習(xí)的各智能體獨(dú)立的執(zhí)行基于啟發(fā)知識(shí)的 Q-學(xué)習(xí)算法，智能體通過交流學(xué)習(xí)成果、融合啟發(fā)知識(shí)、共享學(xué)習(xí)結(jié)果，提高整個(gè)多智能體系統(tǒng)的學(xué)習(xí)效率。將算法應(yīng)用在多智能體仿真環(huán)境中，取得了較好的學(xué)習(xí)效果。 最

4、后，提出了一種結(jié)合模塊化學(xué)習(xí)的模糊Q．學(xué)習(xí)算法，解決連續(xù)狀態(tài)空間下的多智能體強(qiáng)化學(xué)習(xí)問題。算法利用模糊推理對(duì)狀態(tài)空間進(jìn)行泛化，同時(shí)采用了模塊化的方法，將復(fù)雜的任務(wù)進(jìn)行分解以減小狀態(tài)空間的規(guī)模，提高學(xué)習(xí)效率。并且應(yīng)用一種非均勻的表示結(jié)構(gòu)來設(shè)計(jì)強(qiáng)化函數(shù)，對(duì)不同的動(dòng)作給予不同的獎(jiǎng)勵(lì)和懲罰。最后將提出的算法應(yīng)用在多智能體捕獵的仿真環(huán)境中，從仿真的曲線中可以明顯的看出來，捕獵智能體的移動(dòng)步數(shù)逐漸達(dá)到平穩(wěn)，有效的完成了學(xué)習(xí)過程，系統(tǒng)整體性能達(dá)到了最