多智能體系統(tǒng)中的Q學習算法研究.pdf

1、隨著人工智能技術和計算機科學的發(fā)展與進步，分布式人工智能等技術應運而生，并在過去的20多年中獲得快速發(fā)展。多智能體系統(tǒng)（MAS）是分布式人工智能的一個重要分支。MAS技術主要研究一組自治的智能體在分布式開放的動態(tài)環(huán)境下，通過交互、合作、競爭、協(xié)商等智能行為完成復雜的控制或任務求解。強化學習是解決智能體系統(tǒng)尋優(yōu)問題的有效工具。強化學習中的Q學習算法是現(xiàn)在研究的最多也是應用最廣泛的學習算法。
　　本文對多智能體系統(tǒng)中的Q學習算法的學習

2、效率、狀態(tài)空間的復雜度以及對復雜環(huán)境的適應能力進行了研究，提出了一些改進的方法并以人工智能中經(jīng)典的圍捕問題作為仿真環(huán)境，具體的研究工作如下：
　　首先，針對Q學習算法中存在重復學習且學習效率不高的現(xiàn)象，本文提出了在過程中共享經(jīng)驗的學習算法。Q學習是一種無監(jiān)督的在線學習，對環(huán)境的先驗知識不作要求。也正因如此智能體需要花一定的學習時間來了解這些先驗知識。多智能體Q學習的一個特點是學習過程中的一切都是聯(lián)合的，包括：聯(lián)合動作、聯(lián)合狀態(tài)和聯(lián)

3、合獎懲。這些都會增加學習時的搜索量和計算量，并且增加狀態(tài)空間的維數(shù)。針對這些問題本文提出了在過程中共享經(jīng)驗的Q學習算法。在該算法中智能體不再是基于聯(lián)合動作、聯(lián)合狀態(tài)和聯(lián)合獎懲，而是單獨學習，階段性地分享經(jīng)驗。該算法模擬人類的團隊學習方法，既有共同的目標，又有自己要完成的任務，定時地互相分享經(jīng)驗。從仿真實驗中可以看到較好的學習效果，學習效率明顯優(yōu)于標準Q學習算法。
　　其次，針對復雜的學習環(huán)境本文提出了多獎懲標準的學習方法?，F(xiàn)實應用