在多Agent環(huán)境中求帕累托效率解的方法研究.pdf

1、多Agent系統(tǒng)（MAS）及其相關(guān)技術(shù)近年來(lái)受到越來(lái)越多的研究者的關(guān)注。它不僅已經(jīng)被廣泛運(yùn)用到了Internet、辦公自動(dòng)化、沖突協(xié)調(diào)、決策支持、開放式信息系統(tǒng)等眾多領(lǐng)域。并且它還是博弈論和人工智能交叉領(lǐng)域研究的熱門問(wèn)題之一。
　　 在一個(gè)競(jìng)爭(zhēng)的環(huán)境中，一個(gè)令人滿意的多Agent學(xué)習(xí)算法應(yīng)該至少是理性的，它應(yīng)該能保證自己的安全收益。在一個(gè)可合作的環(huán)境中，一個(gè)令人滿意的多Agent學(xué)習(xí)算法應(yīng)該是滿足合作性的，在與公正對(duì)手博弈時(shí)，應(yīng)

2、盡可能的達(dá)到雙贏的局面。目前，有很多算法都可以滿足理性，而另一些算法能夠在與公正對(duì)手的博弈中取得高額回報(bào)，但是卻不能二者兼得。
　　 在本文中，我們?cè)敿?xì)分析了MAS中的學(xué)習(xí)環(huán)境理論模型，簡(jiǎn)要介紹了多Agent環(huán)境中學(xué)習(xí)算法應(yīng)具備的屬性，并分析了當(dāng)前一些學(xué)者提出的算法。然后分析了Q-學(xué)習(xí)算法，WoLF原理，并介紹了Roben Axelrod實(shí)驗(yàn)。根據(jù)以上三個(gè)方面，我們分析了一個(gè)優(yōu)秀的算法應(yīng)能從歷史博弈中進(jìn)行學(xué)習(xí)，并且應(yīng)該兼顧理性與

3、合作性。在此基礎(chǔ)上我們提出了PESCO算法，它能從以往的收益和對(duì)手的動(dòng)作中學(xué)習(xí)到對(duì)手的特點(diǎn)，并且具備善意的、寬容的、強(qiáng)硬的特點(diǎn)。它在自博弈時(shí)滿足自兼容性，它對(duì)非合作對(duì)手滿足理性，保證安全收益，對(duì)合作對(duì)手，尋求帕累托效率解，達(dá)到雙贏局面。
　　 我們以可合作的供零博弈、Stackelberg博弈和非合作的猜硬幣博弈為背景，通過(guò)一系列的實(shí)驗(yàn)來(lái)驗(yàn)證PESCO算法的有效性，詳細(xì)描述了實(shí)驗(yàn)過(guò)程的每一個(gè)細(xì)節(jié)，說(shuō)明了該算法無(wú)論在可合作的博弈中