一種足球機(jī)器人多智能體對抗系統(tǒng)的分層變學(xué)習(xí)率增強(qiáng)式學(xué)習(xí)方法.pdf

1、該文以足球仿真機(jī)器人系統(tǒng)為研究平臺,研究多智能體對抗系統(tǒng)的高層策略學(xué)習(xí)問題.通過對足球機(jī)器人系統(tǒng)的分析和研究,使用模糊手段描述了復(fù)雜的足球機(jī)器人狀態(tài)空間;提出將MAXQ多智體分層增強(qiáng)式學(xué)習(xí)方法應(yīng)用于足球機(jī)器人進(jìn)攻策略的學(xué)習(xí);并進(jìn)一步提出通過融入一種在對抗系統(tǒng)中具有良好特性的變學(xué)習(xí)率學(xué)習(xí)法則而得到一種適合于多智能體對抗系統(tǒng)的策略學(xué)習(xí)方法.多智能體系統(tǒng)是近年來人工智能領(lǐng)域的研究熱點(diǎn).它所體現(xiàn)出的群體智能、社會特性比起單智能體系統(tǒng),更加符合許

2、多應(yīng)用領(lǐng)域的特點(diǎn).足球機(jī)器人系統(tǒng)由于其可實(shí)現(xiàn)性,對抗性,系統(tǒng)模型的信息不完備性迅速成為這一研究領(lǐng)域的標(biāo)準(zhǔn)問題之一.多智能體系統(tǒng)的所有熱點(diǎn)問題,如主體的研究、群體協(xié)作、智能體間通信等都體現(xiàn)在足球機(jī)器人仿真平臺上,該文集中研究足球機(jī)器人高層策略的分層學(xué)習(xí).通過對足球機(jī)器人仿真系統(tǒng)特點(diǎn)的研究,從中提練出進(jìn)攻策略學(xué)習(xí)問題作為該文的研究問題.環(huán)境的描述是智能體學(xué)習(xí)的先決條件.多智能體系統(tǒng)的智能體大都處在復(fù)雜、時變、信息動態(tài)不完備的環(huán)境中.其環(huán)境描

3、述需要根據(jù)具體問題來進(jìn)行.該文分析了足球機(jī)器人系統(tǒng)的結(jié)構(gòu)和參數(shù)特點(diǎn),將模糊方法應(yīng)用于描述其智能體(即單個球員)的狀態(tài)空間,使用一個合理的狀態(tài)數(shù)目有效描述了智能體所處的狀態(tài).MAXQ分層多智能體學(xué)習(xí)方法是近年來被提出的一種新方法.它改進(jìn)了傳統(tǒng)的單智能體增強(qiáng)式學(xué)習(xí)方法,以適應(yīng)多智能體環(huán)境的智能學(xué)習(xí).該文將其應(yīng)用于足球機(jī)器人系統(tǒng)的進(jìn)攻策略學(xué)習(xí).實(shí)驗(yàn)證明該方法產(chǎn)生的策略能夠?qū)崿F(xiàn)進(jìn)攻目的,適用于該文提出的足球機(jī)器人進(jìn)攻策略學(xué)習(xí).足球機(jī)器人同時又是