基于協(xié)同進(jìn)化與強(qiáng)化學(xué)習(xí)的多代理協(xié)作學(xué)習(xí)研究.pdf

1、在多Agent系統(tǒng)中,由于環(huán)境是動(dòng)態(tài)變化的,其他Agent行為是未知的,要建立領(lǐng)域完備的先驗(yàn)?zāi)Ｐ蛶缀醪豢赡?而且許多領(lǐng)域知識(shí)也是在Agent和其他Agent交互的過程中逐步獲得的,所以復(fù)雜環(huán)境下的Agent應(yīng)當(dāng)能夠根據(jù)以前的經(jīng)驗(yàn)校正其行為,即具有學(xué)習(xí)或自適應(yīng)能力.學(xué)習(xí)技術(shù)在多Agent系統(tǒng)中的應(yīng)用顯得尤為重要.與此同時(shí),單個(gè)Agent常常由于其有限的資源和能力,不能完成復(fù)雜的任務(wù),所以多個(gè)Agent之間的協(xié)作也非常必要.增加學(xué)習(xí)機(jī)制是實(shí)

2、現(xiàn)不同Agent之間協(xié)作的有效解決方法之一,一方面,為多Agent系統(tǒng)增加學(xué)習(xí)機(jī)制可以有效地實(shí)現(xiàn)Agent間的協(xié)作;另一方面,為Agent系統(tǒng)增加協(xié)作機(jī)制也能改善多Agent的學(xué)習(xí)性能. 本文首先回顧Agent及多Agent系統(tǒng)產(chǎn)生、研究基礎(chǔ)以及多Agent系統(tǒng)學(xué)習(xí)方法,分別從多Agent協(xié)作、強(qiáng)化學(xué)習(xí)、多Agent強(qiáng)化學(xué)習(xí)三個(gè)方面講述多Agent協(xié)作學(xué)習(xí)的基礎(chǔ)知識(shí). 本文將協(xié)同進(jìn)化與進(jìn)化穩(wěn)定遺傳算法相結(jié)合,并應(yīng)用于多A

3、gent系統(tǒng)的行動(dòng)選擇問題.在由兩個(gè)或更多群體組成的系統(tǒng)中,每個(gè)群體分別代表一個(gè)Agent,系統(tǒng)中每個(gè)物種在其群體內(nèi)進(jìn)行進(jìn)化,并通過反復(fù)使用進(jìn)化穩(wěn)定遺傳算法以適應(yīng)環(huán)境,最終使系統(tǒng)的適應(yīng)度值達(dá)到最高.系統(tǒng)使用分散博弈,即多Agent系統(tǒng)的n個(gè)Agent分別決定要執(zhí)行哪k個(gè)任務(wù),文中研究n=k的情況,即完全分散博弈.只有當(dāng)系統(tǒng)中n個(gè)Agent所選擇的行動(dòng)各不相同時(shí),系統(tǒng)的適應(yīng)度函數(shù)值才會(huì)達(dá)到最高,因此在這種博弈中各Agent會(huì)最大化地分散選

4、擇行動(dòng).實(shí)驗(yàn)仿真結(jié)果表明,此算法適用于多Agent系統(tǒng)的行動(dòng)選擇問題,與基于傳統(tǒng)遺傳算法的多Agent系統(tǒng)相比,系統(tǒng)可以在較少的代數(shù)內(nèi)快速達(dá)到最高的適應(yīng)度,且最高適應(yīng)度也有明顯提高. 強(qiáng)化學(xué)習(xí)是多Agent系統(tǒng)學(xué)習(xí)常用的方法之一.在強(qiáng)化學(xué)習(xí)中策略的搜索與利用之間的平衡決定了Agent是搜索未執(zhí)行過的行為集還是繼續(xù)利用已經(jīng)在學(xué)習(xí)過程中得到的知識(shí).現(xiàn)有的行動(dòng)選擇策略只是利用了當(dāng)前學(xué)習(xí)過程中得到的策略知識(shí),很少利用以前學(xué)習(xí)過程中得到的

5、策略.為了有效地利用已完成任務(wù)的策略集,提高Agent間協(xié)作完成任務(wù)的能力,我們?cè)陔S機(jī)博弈與強(qiáng)化學(xué)習(xí)框架下,提出新的行動(dòng)選擇策略一策略重用方法,保存已經(jīng)學(xué)習(xí)過的任務(wù)所用的策略集,將多Agent系統(tǒng)以前完成任務(wù)的策略集用于新任務(wù)的完成,有效地提高了新任務(wù)完成的效率以及系統(tǒng)的收益值. 本文從多Agent協(xié)作學(xué)習(xí)方法出發(fā),從協(xié)同進(jìn)化穩(wěn)定遺傳算法結(jié)合多Agent系統(tǒng)和強(qiáng)化學(xué)習(xí)中的搜索策略方法這兩方面有效提高了多Agent系統(tǒng)中Agent