基于交替跟蹤的分布式多智能體合作學(xué)習(xí)算法研究.pdf

1、本文以合作式多智能體系統(tǒng)為研究對象，研究應(yīng)用強化學(xué)習(xí)對多智能體系統(tǒng)的合作策略進(jìn)行優(yōu)化，其中關(guān)鍵問題主要包括學(xué)習(xí)降維、信度分配與收斂證明三個方面。本文研究的思路來源于強化學(xué)習(xí)理論，其相關(guān)定義以離散環(huán)境為基礎(chǔ)展開，由于其良好的自學(xué)習(xí)性質(zhì)廣泛應(yīng)用于合作式的多智能體系統(tǒng)。同時，隨著多智能體系統(tǒng)理論研究的進(jìn)展，對理論在實際中的應(yīng)用要求進(jìn)一步提高。然而，“維數(shù)災(zāi)”問題突出、學(xué)習(xí)效率低下以及無收斂性理論保證等阻礙了其在合作式多智能體系統(tǒng)的推廣和應(yīng)用。

2、
　　本文針對合作式多智能體強化學(xué)習(xí)中的降維、信度分配以及收斂理論三個關(guān)鍵問題進(jìn)行研究。在分布式強化學(xué)習(xí)的降維手段基礎(chǔ)上，提出一種新的多智能體合作學(xué)習(xí)框架——交替跟蹤學(xué)習(xí)。一方面通過降維的Q學(xué)習(xí)緩解維數(shù)災(zāi)，另一方面基于交替跟蹤學(xué)習(xí)框架提高學(xué)習(xí)效率的同時保證合作策略的收斂，并實現(xiàn)學(xué)習(xí)智能體的信度分配。此外，針對分布式的多智能體同時學(xué)習(xí)進(jìn)行了初步的探討。
　　首先，以強化學(xué)習(xí)基本理論框架為對比基礎(chǔ)，結(jié)合分布式多智能體合作學(xué)習(xí)環(huán)境

3、，定義了新型的降維的獎勵以及值函數(shù)。從適應(yīng)性角度分析了最佳響應(yīng)學(xué)習(xí)的合理性，假設(shè)非學(xué)習(xí)智能體策略穩(wěn)定環(huán)境下，提出了降維的最佳響應(yīng)學(xué)習(xí)算法，并證明了其收斂性。
　　其次，在定義降維跟蹤學(xué)習(xí)值函數(shù)的基礎(chǔ)之上，提出一種交替跟蹤的分布式多智能體合作學(xué)習(xí)框架，并重點分析了框架的策略搜索、降維、同時學(xué)習(xí)等特點。并針對實際應(yīng)用，給出了框架下多智能體進(jìn)行交替學(xué)習(xí)的切換機制。此外，在個體獎勵已知情況下，將現(xiàn)有的最佳響應(yīng)算法融入交替跟蹤框架，形成一種

4、完全合作式的分布式多智能體強化學(xué)習(xí)算法。個體獎勵相同條件下，多智能體合作推箱子作為仿真對象，驗證了所提算法的正確性和有效性。
　　再次，為進(jìn)一步擴展算法的應(yīng)用范圍，針對一般的合作式多智能體系統(tǒng)，個體獎勵未知情況下，提出采用隨機逼近方式獲取學(xué)習(xí)智能體的個體獎勵以實現(xiàn)信度分配。同樣，建立在交替跟蹤的交替學(xué)習(xí)框架下，結(jié)合基于信度分配的最佳響應(yīng)學(xué)習(xí)算法，克服了個體獎勵的逼近問題，提出了一般合作式多智能體系統(tǒng)的強化學(xué)習(xí)算法。以多智能體合作推