多智能體系統(tǒng)協(xié)作模型及其在足球機(jī)器人仿真系統(tǒng)中的應(yīng)用.pdf

1、多智能體系統(tǒng)(MAS)的協(xié)作是近年來分布式人工智能領(lǐng)域的研究熱點(diǎn)。機(jī)器人足球世界杯(RoboCup)仿真比賽是檢驗(yàn)各種MAS理論的標(biāo)準(zhǔn)平臺，在這個極為復(fù)雜的多智能體環(huán)境中，多智能體必須通過協(xié)作才能完成它們的共同目標(biāo)：多進(jìn)球贏得比賽。本文在RoboCup仿真球隊的設(shè)計中，應(yīng)用規(guī)劃、學(xué)習(xí)和預(yù)測技術(shù)建立了MAS的協(xié)作策略和模型，主要研究工作有： 針對RoboCup足球機(jī)器人仿真系統(tǒng)面臨的主要協(xié)作問題，提出一種雙層的MAS協(xié)作模型框架，

2、它包含協(xié)作策略和動作決策兩層，這種結(jié)構(gòu)不僅可以增強(qiáng)整個系統(tǒng)的智能度，而且還有利于多智能體間的動態(tài)實(shí)時協(xié)作。 采用基于狀態(tài)的規(guī)劃協(xié)作模型，實(shí)現(xiàn)了協(xié)作智能體對系統(tǒng)的快速實(shí)時反應(yīng)，不僅提高了單個智能體的反應(yīng)速度，而且還提高了整個MAS協(xié)作的效率。從RoboCup仿真比賽進(jìn)攻的角度提出了一種基于合作意愿矩陣的傳球規(guī)劃協(xié)作策略，實(shí)現(xiàn)了一種不依賴于通信的顯式多智能體協(xié)作。 用陣形將多個智能體聯(lián)接成一個擁有共同目標(biāo)的團(tuán)隊，并引入角色實(shí)

3、現(xiàn)事先給定的任務(wù)分配和站位配合，從防守的角度出發(fā)，實(shí)現(xiàn)了基于陣形變換的多智能體動態(tài)防守協(xié)作，將案例學(xué)習(xí)應(yīng)用到陣形設(shè)計中，突破了單憑直接經(jīng)驗(yàn)設(shè)置陣形的局限?？蓪?shí)現(xiàn)積極防守陣形和消極防守陣形兩個陣形之間動態(tài)變換，滿足了不同階段的防守協(xié)作要求，顯著提高了球隊的整體防守性能。 提出了一種基于親密度模型進(jìn)行動態(tài)防守協(xié)作的方法。在采用人盯人戰(zhàn)術(shù)時，智能體通過親密度的計算確定是否需要協(xié)助隊友完成人盯人任務(wù)；在采用區(qū)域防守戰(zhàn)術(shù)時，由陣形確定每個

4、區(qū)域的主要責(zé)任人，由親密度確定每個區(qū)域的次要責(zé)任人，來共同完成區(qū)域的防守任務(wù)。通過親密度模型的應(yīng)用，實(shí)現(xiàn)了智能體間更好的協(xié)作，解決了盯人失敗導(dǎo)致漏人的問題和區(qū)域防守中邊界無人盯防的問題，達(dá)到了分工和協(xié)作的統(tǒng)一。 從提高仿真球隊的整體協(xié)作能力出發(fā)，提出了一種基于行為的預(yù)測方法，使RoboCup的協(xié)作模型設(shè)計簡單、反應(yīng)速度快、適應(yīng)性好和智能度較高。采用基于行為預(yù)測的協(xié)作模型在CSUYunLu隊中實(shí)現(xiàn)了球隊的協(xié)作決策，如傳球和下底傳中

5、等小局部配合。 將統(tǒng)計學(xué)習(xí)與Q學(xué)習(xí)技術(shù)融合，提出了一種基于統(tǒng)計的多智能體Q學(xué)習(xí)算法。該算法通過對聯(lián)合動作的統(tǒng)計來學(xué)習(xí)其它智能體的策略，并利用策略概率向量的全概率分布保證了對聯(lián)合最優(yōu)動作的選擇，在理論上保證了算法的收斂性，該算法將多智能體環(huán)境下的學(xué)習(xí)空間由指數(shù)空間降為線性空間，有效地提高了學(xué)習(xí)效率，并將該算法成功應(yīng)用到RoboCup中協(xié)作策略的離線學(xué)習(xí)。 增強(qiáng)學(xué)習(xí)與其它學(xué)習(xí)方法之間顯著的差別就是：延遲獎賞和試錯探索，這帶來