基于圖模型的分布式協(xié)同學(xué)習(xí).pdf

1、多智能體系統(tǒng)（Multi-Agent System，MAS）是分布式人工智能（Distributed Artificial Intelligence，DAI）的一個(gè)重要分支。多智能體系統(tǒng)是多個(gè)智能體組成的集合，它的目標(biāo)是將大而復(fù)雜的系統(tǒng)建設(shè)成小的、彼此互相通信和協(xié)調(diào)的，易于管理的系統(tǒng)，從而實(shí)現(xiàn)個(gè)體之間的沖突消解與協(xié)同合作。分布式控制方法具有個(gè)體局部交互、成本低、魯棒性強(qiáng)的優(yōu)點(diǎn)，因而多智能體系統(tǒng)通常采用分布式控制的方式來(lái)實(shí)現(xiàn)系統(tǒng)協(xié)同功能。

2、另一方面，圖模型可以簡(jiǎn)潔有效地表示多智能體系統(tǒng)中復(fù)雜的依賴關(guān)系。將每個(gè)節(jié)點(diǎn)代表多智能體系統(tǒng)中的個(gè)體，圖模型可以有效地表征局部狀態(tài)觀察、行為選擇與獎(jiǎng)賞接收（系統(tǒng)的目標(biāo)是最大化所有節(jié)點(diǎn)的獎(jiǎng)賞之和），因此基于圖模型的分布式控制對(duì)于多智能體系統(tǒng)研究具有重要的意義。
　　基于試錯(cuò)的學(xué)習(xí)行為是智能體與環(huán)境進(jìn)行交互的主要方式之一，本文主要研究基于圖模型的分布式協(xié)同學(xué)習(xí)，將圖模型的關(guān)系表征能力與個(gè)體的局部學(xué)習(xí)交互有效的結(jié)合起來(lái)，從而以最小的計(jì)算代

3、價(jià)實(shí)現(xiàn)最優(yōu)或者近似最優(yōu)的系統(tǒng)功能。本文主要包括以下兩個(gè)研究?jī)?nèi)容：
　　本文首先研究了基于分布式值函數(shù)（Distributed Value Function，DVF）的多智能體協(xié)同學(xué)習(xí)方法。該方法允許每個(gè)智能體將自己的值函數(shù)（所有節(jié)點(diǎn)未來(lái)獎(jiǎng)賞的權(quán)重和的預(yù)估）發(fā)送給其鄰居節(jié)點(diǎn)，這樣不僅考慮了直接鄰居節(jié)點(diǎn)對(duì)智能體行為選擇的影響，同時(shí)還考慮了其他節(jié)點(diǎn)對(duì)智能體的間接影響；由于每個(gè)節(jié)點(diǎn)在系統(tǒng)中的位置重要性不同以及在學(xué)習(xí)過(guò)程中表現(xiàn)的好壞都會(huì)對(duì)其

4、鄰居節(jié)點(diǎn)產(chǎn)生不同的影響。本文提出了自適應(yīng)權(quán)重函數(shù)的DVF，并將此方法與現(xiàn)有的分布式強(qiáng)化學(xué)習(xí)方法在電力系統(tǒng)電壓分配問(wèn)題中進(jìn)行比較，驗(yàn)證了該方法的有效性。
　　本文的第二個(gè)工作是研究了基于回報(bào)傳播的分布式協(xié)同學(xué)習(xí)方法。該方法將稀疏協(xié)同學(xué)習(xí)方法與協(xié)同圖中的消息傳遞算法相結(jié)合，利用相應(yīng)的協(xié)同圖將全局值函數(shù)分解為局部值函數(shù)的線性結(jié)合，并通過(guò)變量消除算法或者M(jìn)ax-Plus算法來(lái)計(jì)算最優(yōu)聯(lián)合行為，從而快速地找到使系統(tǒng)整體獎(jiǎng)賞最高的最優(yōu)策略或近