基于不確定知識(shí)的強(qiáng)化學(xué)習(xí)及其應(yīng)用研究.pdf

1、強(qiáng)化學(xué)習(xí)是人工智能中策略學(xué)習(xí)的一種，是一種重要的機(jī)器學(xué)習(xí)方法，用于解決可感知環(huán)境的自主agent，如何學(xué)習(xí)選擇出實(shí)現(xiàn)其目標(biāo)的最優(yōu)行為策略。由于強(qiáng)化學(xué)習(xí)通過與環(huán)境的直接交互進(jìn)行學(xué)習(xí)，具有試錯(cuò)評(píng)價(jià)、延遲回報(bào)、目標(biāo)導(dǎo)向等特點(diǎn)，在許多agent中得到了較好的應(yīng)用，特別是在移動(dòng)機(jī)器人的智能實(shí)現(xiàn)取得了較好的成果。移動(dòng)機(jī)器人是機(jī)器人學(xué)和智能控制的重要研究領(lǐng)域，是當(dāng)今智能發(fā)展的重要方面與主要體現(xiàn)，其研究目標(biāo)是使機(jī)器人具有高度自規(guī)劃、自組織、自適應(yīng)能力，

2、可在復(fù)雜的非結(jié)構(gòu)環(huán)境中自主移動(dòng)并完成相應(yīng)任務(wù)；因此，自主導(dǎo)航技術(shù)是其研究的核心，而無碰運(yùn)動(dòng)則是機(jī)器人應(yīng)具備的基本能力。利用強(qiáng)化學(xué)習(xí)方法更好的實(shí)現(xiàn)未知環(huán)境下的移動(dòng)機(jī)器人自主導(dǎo)航、避碰技術(shù)，對(duì)學(xué)習(xí)算法的應(yīng)用推廣及移動(dòng)機(jī)器人的工程實(shí)現(xiàn)等均具有重要的意義。 但是，隨著強(qiáng)化學(xué)習(xí)在實(shí)際應(yīng)用的進(jìn)一步推廣，該方法也面臨著越來越多的困難及挑戰(zhàn)。首先是在實(shí)際應(yīng)用中由agent自身及外界環(huán)境所引起的各種不確定性問題，使得學(xué)習(xí)算法難于很好的實(shí)用推廣；其

3、次是學(xué)習(xí)算法的收斂效率問題，較慢的收斂速度使得各種算法在理論研究或仿真實(shí)驗(yàn)中取得的成果不適用于實(shí)際的學(xué)習(xí)問題。因此，從實(shí)用的角度對(duì)強(qiáng)化學(xué)習(xí)方法及其在移動(dòng)機(jī)器人智能中的實(shí)現(xiàn)進(jìn)行更深入的研究顯得尤為重要。 本文首先分析了強(qiáng)化學(xué)習(xí)在實(shí)際應(yīng)用中的不足，總結(jié)了目前國內(nèi)外研究的主要不確定性知識(shí)表示方法：概率統(tǒng)計(jì)、模糊理論、定性推理以及灰色系統(tǒng)理論等，并對(duì)各種表示方法的特點(diǎn)等進(jìn)行了比較研究；進(jìn)而將強(qiáng)化學(xué)習(xí)方法與這些不確定性知識(shí)表示方法結(jié)合起來

4、，詳細(xì)闡述了模糊強(qiáng)化學(xué)習(xí)、定性強(qiáng)化學(xué)習(xí)以及灰色強(qiáng)化學(xué)習(xí)等強(qiáng)化學(xué)習(xí)方法，并分析了各種方法的優(yōu)缺點(diǎn)，為強(qiáng)化學(xué)習(xí)算法的工程實(shí)用奠定了較好的基礎(chǔ)。 針對(duì)移動(dòng)機(jī)器人自學(xué)習(xí)導(dǎo)航收斂效率較低，理論成果難于應(yīng)用的難題，本文對(duì)基于先驗(yàn)知識(shí)的強(qiáng)化學(xué)習(xí)自主導(dǎo)航方法進(jìn)行了研究。通過對(duì)環(huán)境模型的灰色先驗(yàn)特性的分析，提出了基于灰色模型信息的強(qiáng)化學(xué)習(xí)方法(RLBG)：而為更好的運(yùn)用人類自身的經(jīng)驗(yàn)知識(shí)，研究了基于定性經(jīng)驗(yàn)知識(shí)的強(qiáng)化學(xué)習(xí)方法(RLBQ)；這些方法

5、對(duì)各種不確定性先驗(yàn)知識(shí)在強(qiáng)化學(xué)習(xí)方法及移動(dòng)機(jī)器人自主導(dǎo)航中的更充分有效的運(yùn)用較有啟發(fā)及借鑒意義。 移動(dòng)機(jī)器人自主運(yùn)動(dòng)中經(jīng)常存在各種不確定性，如外界環(huán)境的未知不確定性及機(jī)器人自身感知及執(zhí)行的不確定性等。為實(shí)現(xiàn)移動(dòng)機(jī)器人在實(shí)際中更好的自主無碰運(yùn)動(dòng)，本文在利用強(qiáng)化學(xué)習(xí)自學(xué)習(xí)避碰規(guī)則庫的基礎(chǔ)上，結(jié)合灰色預(yù)測(cè)理論的GM(1，1)模型通過對(duì)當(dāng)前及下一距離的預(yù)測(cè)而對(duì)貧信息的有效開發(fā)的方法，對(duì)基于灰色預(yù)測(cè)的移動(dòng)機(jī)器人自主避碰進(jìn)行了研究，并通過仿