基于性能勢的智能體學習與規(guī)劃方法研究.pdf

1、強化學習和智能規(guī)劃是當前人工智能領(lǐng)域的研究熱點。生活中的眾多順序決策問題都可以用馬爾科夫決策過程(MDP)進行描述，基于MDP的性能勢理論為上述問題的求解優(yōu)化提供了一種新的理論框架，它可以利用樣本軌道的估算對參數(shù)未知的系統(tǒng)進行在線優(yōu)化和求解。當系統(tǒng)狀態(tài)轉(zhuǎn)移矩陣、獎勵函數(shù)等參數(shù)未知時，強化學習通常被用來對系統(tǒng)的最優(yōu)策略進行學習，該特點使其能夠很好地與性能勢理論相結(jié)合，從而得出更有效率的在線優(yōu)化算法。
　　然而，近年來隨著人工智能應(yīng)用

2、領(lǐng)域的擴展，求解具有不確定性的大規(guī)模規(guī)劃問題成為了人工智能理論發(fā)展的難點之一。針對智能體決策問題研究中的“維數(shù)災(zāi)難”，本文提出了一種結(jié)合啟發(fā)式搜索的學習方法，并通過RoboCup機器人足球2D仿真平臺，分析該算法的模型及其有效性。
　　本文主要的工作如下:
　　首先，對強化學習、性能勢理論及啟發(fā)式搜索方法進行了基本介紹，對它們的發(fā)展狀況做了闡述，并分析在求解問題過程中各自的優(yōu)勢及缺點，同時說明了這些方法在機器人足球中的研究意

3、義。
　　針對強化學習和性能勢理論在求解大規(guī)模規(guī)劃問題中求解過程不穩(wěn)定和收斂速度過慢的缺點，本文提出了一個新的算法——基于性能勢的A*平均強化學習算法。它結(jié)合性能勢理論與啟發(fā)式函數(shù)，根據(jù)啟發(fā)式策略確定動作的選擇，從而加快學習收斂速度。最后通過強化學習標準測試工具箱中的Grid-World實驗場景對算法的有效性進行了測試和分析。
　　本文基于RoboCup機器人足球2D仿真平臺中通過簡化的機器人足球領(lǐng)域——keepaway，根

4、據(jù)Option理論設(shè)計了智能體的動作生成器，結(jié)合GA*-learning算法并應(yīng)用到智能體的決策過程中，使球員的個人技術(shù)得以提高。
　　綜上所述，本文根據(jù)強化學習與性能勢相關(guān)理論，提出了基于性能勢的A*平均強化學習算法，并通過一系列實驗數(shù)據(jù)分析，驗證了該算法的有效性。同時，我們把本文的研究成果應(yīng)用到2D仿真隊伍GDUT_TiJi的代碼設(shè)計中，并參加了2013年的中國機器人大賽暨RoboCup公開賽和2013年RoboCup世界杯賽