基于不確定知識的強化學(xué)習(xí)及其應(yīng)用研究.pdf

1、強化學(xué)習(xí)是人工智能中策略學(xué)習(xí)的一種，是一種重要的機器學(xué)習(xí)方法，用于解決可感知環(huán)境的自主agent，如何學(xué)習(xí)選擇出實現(xiàn)其目標(biāo)的最優(yōu)行為策略。由于強化學(xué)習(xí)通過與環(huán)境的直接交互進行學(xué)習(xí)，具有試錯評價、延遲回報、目標(biāo)導(dǎo)向等特點，在許多agent中得到了較好的應(yīng)用，特別是在移動機器人的智能實現(xiàn)取得了較好的成果。移動機器人是機器人學(xué)和智能控制的重要研究領(lǐng)域，是當(dāng)今智能發(fā)展的重要方面與主要體現(xiàn)，其研究目標(biāo)是使機器人具有高度自規(guī)劃、自組織、自適應(yīng)能力，

2、可在復(fù)雜的非結(jié)構(gòu)環(huán)境中自主移動并完成相應(yīng)任務(wù)；因此，自主導(dǎo)航技術(shù)是其研究的核心，而無碰運動則是機器人應(yīng)具備的基本能力。利用強化學(xué)習(xí)方法更好的實現(xiàn)未知環(huán)境下的移動機器人自主導(dǎo)航、避碰技術(shù)，對學(xué)習(xí)算法的應(yīng)用推廣及移動機器人的工程實現(xiàn)等均具有重要的意義。 但是，隨著強化學(xué)習(xí)在實際應(yīng)用的進一步推廣，該方法也面臨著越來越多的困難及挑戰(zhàn)。首先是在實際應(yīng)用中由agent自身及外界環(huán)境所引起的各種不確定性問題，使得學(xué)習(xí)算法難于很好的實用推廣；其

3、次是學(xué)習(xí)算法的收斂效率問題，較慢的收斂速度使得各種算法在理論研究或仿真實驗中取得的成果不適用于實際的學(xué)習(xí)問題。因此，從實用的角度對強化學(xué)習(xí)方法及其在移動機器人智能中的實現(xiàn)進行更深入的研究顯得尤為重要。 本文首先分析了強化學(xué)習(xí)在實際應(yīng)用中的不足，總結(jié)了目前國內(nèi)外研究的主要不確定性知識表示方法：概率統(tǒng)計、模糊理論、定性推理以及灰色系統(tǒng)理論等，并對各種表示方法的特點等進行了比較研究；進而將強化學(xué)習(xí)方法與這些不確定性知識表示方法結(jié)合起來

4、，詳細(xì)闡述了模糊強化學(xué)習(xí)、定性強化學(xué)習(xí)以及灰色強化學(xué)習(xí)等強化學(xué)習(xí)方法，并分析了各種方法的優(yōu)缺點，為強化學(xué)習(xí)算法的工程實用奠定了較好的基礎(chǔ)。 針對移動機器人自學(xué)習(xí)導(dǎo)航收斂效率較低，理論成果難于應(yīng)用的難題，本文對基于先驗知識的強化學(xué)習(xí)自主導(dǎo)航方法進行了研究。通過對環(huán)境模型的灰色先驗特性的分析，提出了基于灰色模型信息的強化學(xué)習(xí)方法(RLBG)：而為更好的運用人類自身的經(jīng)驗知識，研究了基于定性經(jīng)驗知識的強化學(xué)習(xí)方法(RLBQ)；這些方法

5、對各種不確定性先驗知識在強化學(xué)習(xí)方法及移動機器人自主導(dǎo)航中的更充分有效的運用較有啟發(fā)及借鑒意義。 移動機器人自主運動中經(jīng)常存在各種不確定性，如外界環(huán)境的未知不確定性及機器人自身感知及執(zhí)行的不確定性等。為實現(xiàn)移動機器人在實際中更好的自主無碰運動，本文在利用強化學(xué)習(xí)自學(xué)習(xí)避碰規(guī)則庫的基礎(chǔ)上，結(jié)合灰色預(yù)測理論的GM(1，1)模型通過對當(dāng)前及下一距離的預(yù)測而對貧信息的有效開發(fā)的方法，對基于灰色預(yù)測的移動機器人自主避碰進行了研究，并通過仿