基于協(xié)同進化與強化學習的多代理協(xié)作學習研究.pdf

1、在多Agent系統(tǒng)中,由于環(huán)境是動態(tài)變化的,其他Agent行為是未知的,要建立領域完備的先驗模型幾乎不可能,而且許多領域知識也是在Agent和其他Agent交互的過程中逐步獲得的,所以復雜環(huán)境下的Agent應當能夠根據(jù)以前的經(jīng)驗校正其行為,即具有學習或自適應能力.學習技術在多Agent系統(tǒng)中的應用顯得尤為重要.與此同時,單個Agent常常由于其有限的資源和能力,不能完成復雜的任務,所以多個Agent之間的協(xié)作也非常必要.增加學習機制是實

2、現(xiàn)不同Agent之間協(xié)作的有效解決方法之一,一方面,為多Agent系統(tǒng)增加學習機制可以有效地實現(xiàn)Agent間的協(xié)作;另一方面,為Agent系統(tǒng)增加協(xié)作機制也能改善多Agent的學習性能. 本文首先回顧Agent及多Agent系統(tǒng)產(chǎn)生、研究基礎以及多Agent系統(tǒng)學習方法,分別從多Agent協(xié)作、強化學習、多Agent強化學習三個方面講述多Agent協(xié)作學習的基礎知識. 本文將協(xié)同進化與進化穩(wěn)定遺傳算法相結合,并應用于多A

3、gent系統(tǒng)的行動選擇問題.在由兩個或更多群體組成的系統(tǒng)中,每個群體分別代表一個Agent,系統(tǒng)中每個物種在其群體內(nèi)進行進化,并通過反復使用進化穩(wěn)定遺傳算法以適應環(huán)境,最終使系統(tǒng)的適應度值達到最高.系統(tǒng)使用分散博弈,即多Agent系統(tǒng)的n個Agent分別決定要執(zhí)行哪k個任務,文中研究n=k的情況,即完全分散博弈.只有當系統(tǒng)中n個Agent所選擇的行動各不相同時,系統(tǒng)的適應度函數(shù)值才會達到最高,因此在這種博弈中各Agent會最大化地分散選

4、擇行動.實驗仿真結果表明,此算法適用于多Agent系統(tǒng)的行動選擇問題,與基于傳統(tǒng)遺傳算法的多Agent系統(tǒng)相比,系統(tǒng)可以在較少的代數(shù)內(nèi)快速達到最高的適應度,且最高適應度也有明顯提高. 強化學習是多Agent系統(tǒng)學習常用的方法之一.在強化學習中策略的搜索與利用之間的平衡決定了Agent是搜索未執(zhí)行過的行為集還是繼續(xù)利用已經(jīng)在學習過程中得到的知識.現(xiàn)有的行動選擇策略只是利用了當前學習過程中得到的策略知識,很少利用以前學習過程中得到的

5、策略.為了有效地利用已完成任務的策略集,提高Agent間協(xié)作完成任務的能力,我們在隨機博弈與強化學習框架下,提出新的行動選擇策略一策略重用方法,保存已經(jīng)學習過的任務所用的策略集,將多Agent系統(tǒng)以前完成任務的策略集用于新任務的完成,有效地提高了新任務完成的效率以及系統(tǒng)的收益值. 本文從多Agent協(xié)作學習方法出發(fā),從協(xié)同進化穩(wěn)定遺傳算法結合多Agent系統(tǒng)和強化學習中的搜索策略方法這兩方面有效提高了多Agent系統(tǒng)中Agent