增強(qiáng)學(xué)習(xí)的理論和在路徑規(guī)劃問題中的應(yīng)用.pdf

1、該文先介紹了增強(qiáng)學(xué)習(xí)的基本理論和經(jīng)典算法,在經(jīng)典方法中,價(jià)值函數(shù)用和狀態(tài)一一對(duì)應(yīng)的查找表方式表示的,隨著狀態(tài)的增多,將陷入維數(shù)災(zāi)問題,因此,接下來對(duì)經(jīng)典算法中計(jì)算價(jià)值函數(shù)的方法加以改進(jìn),不再精確表示,而改用梯度下降等監(jiān)督學(xué)習(xí)的方法來對(duì)價(jià)值函數(shù)進(jìn)行函數(shù)逼近,這樣可以極大地?cái)U(kuò)展增強(qiáng)學(xué)習(xí)的適用范圍文中給出了幾種梯度下降方法,并對(duì)它們的收斂性進(jìn)行了比較.另外,針對(duì)基于價(jià)值函數(shù)的學(xué)習(xí)方法的固有弱點(diǎn):對(duì)價(jià)值函數(shù)的估計(jì)出現(xiàn)的小偏差可能導(dǎo)致最終結(jié)果的大

2、偏差,又給出了直接增強(qiáng)學(xué)習(xí)方法,即根據(jù)從策略到反饋的不通過價(jià)值函數(shù)直接映射,使用梯度上升的方法,對(duì)策略空間進(jìn)行直接搜索.這也可以看成非經(jīng)典的增強(qiáng)學(xué)習(xí)方法.該文還進(jìn)行了一些增強(qiáng)學(xué)習(xí)方法在agent路徑規(guī)劃問題上的實(shí)驗(yàn)研究,包括單agent系統(tǒng)和多agent系統(tǒng),在這些實(shí)驗(yàn)里,我們綜合使用了多種增強(qiáng)學(xué)習(xí)方法和技巧.從實(shí)驗(yàn)中可以看出,通過試錯(cuò)法,agent不但可以適應(yīng)即使是動(dòng)態(tài)的環(huán)境找到最優(yōu)路徑,而且還會(huì)逐漸形成合作、競(jìng)爭(zhēng)等關(guān)系;另一方面,恰