一種實時POMDP求解算法及其應用研究.pdf

1、規(guī)劃是人工智能研究的一個重要領域，特別是動態(tài)不確定環(huán)境 (如真實世界)中的規(guī)劃問題，具有重要的理論意義和極其廣泛的應用背景。 部分可觀察的馬爾可夫決策過程(Partially Observable Markov DecisionProcesses POMDP)對不確定環(huán)境中的連續(xù)決策進行了抽象建模。當前用 POMDP來解決不確定環(huán)境下的規(guī)劃問題已經(jīng)成為人工智能研究中的一個非常重要的研究領域。然而大部分的現(xiàn)實應用都有很大的狀態(tài)空間

2、和觀察空間，求解大規(guī)模的有限階段POMDP的最佳策略是PSPACE-complete難的。本文通過對POMDP 模型及已有求解方式的研究，針對動態(tài)不確定環(huán)境下的規(guī)劃問題提出一種實時在線的POMDP求解方法，并將 POMDF，應用于 RoboCup2D 守門員決策。本文的主要工作包括以下幾點： ●介紹POMDP模型，分析已有的POMDP求解算法。 ●通過對POMDP模型以及現(xiàn)有技術的分析，針對大規(guī)模POMDP求解難的問題，

3、提出一種因子化的基于啟發(fā)式搜索的實時求解算法FRTHS，該算法采用因子化的狀態(tài)表示以降低維度災難對計算復雜度的影響，用啟發(fā)式搜索逐步擴展與或策略樹和反向更新值函數(shù)的方法求解當前信念狀態(tài)下最優(yōu)動作。另外通過引入開關變量大大提高了搜索速度。 ●討論了基于FRTHS求解算法的POMDP模型的應用范圍，由于在線決策建立在離線計算的結果之上，且在實時決策時加入對決策時間的考慮，F(xiàn)RTHS能很好的適應高度實時的不確定環(huán)境。在傳統(tǒng)的格子世界追