基于點(diǎn)的值迭代算法在POMDP問題中的研究.pdf

1、部分可觀測(cè)馬爾可夫決策過程(Partially Observable Markov Decision Process, POMDP)是馬爾可夫決策過程(Markov Decision Process, MDP)的擴(kuò)展。在POMDP框架下，由于環(huán)境狀態(tài)是部分可感知的，求解POMDP問題非常困難?；邳c(diǎn)的值迭代思想使得對(duì)POMDP問題的求解取得了重大突破。當(dāng)前POMDP問題的很多求解方法都是在這個(gè)基本思想上拓展的，主要是對(duì)可信空間子集的選擇

2、方法和值函數(shù)更新的次序進(jìn)行改進(jìn)。本文主要研究可信空間子集的選擇方法，針對(duì)當(dāng)前方法的不足，提出幾種改進(jìn)的基于點(diǎn)的近似值迭代算法：
　　(1)對(duì)于大規(guī)模POMDP問題，傳統(tǒng)的求解算法收集可信狀態(tài)是不可控制的。針對(duì)該問題，提出一種改進(jìn)的啟發(fā)式搜索值迭代算法(Heuristic Search Value Iteration, HSVI)。該算法以可達(dá)性作為啟發(fā)式標(biāo)準(zhǔn)來搜索具有重大價(jià)值的可信狀態(tài)點(diǎn)，然后在這些點(diǎn)上對(duì)值函數(shù)進(jìn)行局部更新，獲得有

3、效的近似最優(yōu)策略。
　　(2)在POMDP問題的近似算法中，使用基于試驗(yàn)的異步值迭代的HSVI算法能夠處理規(guī)模最大的POMDP問題。然而，HSVI算法需要同時(shí)保存最優(yōu)值函數(shù)的上界和下界并更新它們，而且更新上界時(shí)需要非常復(fù)雜的計(jì)算，這都大大降低了算法的性能。針對(duì) HSVI算法的缺點(diǎn)，本文提出另一種改進(jìn)的向前搜索值迭代算法(Forward Search Value Iteration, FSVI)，該算法利用MDP的最優(yōu)策略來選擇可信