基于學(xué)習(xí)與對策的多代理協(xié)同計算.pdf

1、本文首先提出了一種新的多代理在線學(xué)習(xí)算法LU-Q,該算法通過對聯(lián)合行動不斷地實施剪枝,減少可選行動數(shù)目,加快多代理學(xué)習(xí)的收斂.實驗表明,算法學(xué)習(xí)性能優(yōu)于標(biāo)準(zhǔn)多代理Q學(xué)習(xí).在此基礎(chǔ)上,結(jié)合MAXQ任務(wù)分解,提出UMAXQ-Q算法.MAXQ任務(wù)分解圖建立任務(wù)的遞進結(jié)構(gòu)有利于狀態(tài)及行動空間的壓縮,簡化學(xué)習(xí),因此,代理協(xié)同的學(xué)習(xí)將會變得更加有效.代理通過多層次間的合作學(xué)習(xí),最終實現(xiàn)最高層次上的合作.UMAXQ-Q算法可根據(jù)問題需要選擇協(xié)作的層數(shù)

2、,具有很大的靈活性,與基于頂層協(xié)作的多代理遞進學(xué)習(xí)算法相比較,具有明顯優(yōu)點.本文通過仿真實驗驗證了算法的性能.考慮到代理對行動策略存在不同的偏好,通過建立代理聯(lián)合行動策略域上的模糊集合,本文定義了不同決策心態(tài)及意圖的策略隸屬度函數(shù),提出了代理模糊收益的概念,并提出策略學(xué)習(xí)算法-沖量最小梯度增加學(xué)習(xí)算法M-IGA.分析了其它基于微小梯度增加算法存在的問題,指出可通過在策略學(xué)習(xí)迭代中增加沖量項保證代理策略的收斂,解決了其它算法存在的問題,并