部分觀測馬爾科夫決策過程中基于記憶的強(qiáng)化學(xué)習(xí)問題研究.pdf

1、在強(qiáng)化學(xué)習(xí)中，Agent對環(huán)境做出動作并從環(huán)境得到回報，相應(yīng)于不同的動作，環(huán)境給予的回報值有所不同，通過對到達(dá)目標(biāo)點(diǎn)所作一系列動作的回報值不斷強(qiáng)化，Agent能夠?qū)W到從內(nèi)部狀態(tài)到動作的映射，即學(xué)到?jīng)Q策過程。
　　傳統(tǒng)的U-Tree算法在解決部分觀測馬爾科夫決策過程(partially observable Markov decision processes，POMDP)的強(qiáng)化學(xué)習(xí)問題方面已經(jīng)取得了顯著的成效，但因?yàn)檫吘壗Y(jié)點(diǎn)生長的隨

2、意性，仍然存在樹的規(guī)模龐大，內(nèi)存需求較大，計算復(fù)雜度過高的問題。本文在原有U-Tree算法的基礎(chǔ)上進(jìn)行改進(jìn)，通過獲取下一步的觀測值，對同一葉結(jié)點(diǎn)中做相同動作的實(shí)例進(jìn)行劃分，提出了一種基于有效實(shí)例擴(kuò)展邊緣結(jié)點(diǎn)的(Effective Instance U-Tree)算法，簡稱為EIU-Tree算法。大大縮減了計算規(guī)模，從而可以幫助agent更快更好地學(xué)習(xí)，并在經(jīng)典的4×3柵格問題中進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)表明該算法相對于原有的U-Tree算法有

3、更好的效果。
　　針對U-Tree算法和MU-Tree算法中收斂速度慢的問題，本文中在agent做值迭代的時候，我們用Sarsa(λ)算法更新Q值，提出了一種基于Sarsa(λ)算法的(Sarsa(λ)U-Tree）算法，簡稱為SU-Tree算法。當(dāng)agent到達(dá)目標(biāo)狀態(tài)或懲罰狀態(tài)時，會對這條路徑上所有產(chǎn)生的實(shí)例進(jìn)行Q值的更新，提高了算法的收斂速度。并在4×3方格問題和奶酪迷宮問題中進(jìn)行了仿真實(shí)驗(yàn)，實(shí)驗(yàn)表明該算法相對于原有的U-T