一種實(shí)時(shí)POMDP求解算法及其應(yīng)用研究.pdf

1、規(guī)劃是人工智能研究的一個(gè)重要領(lǐng)域，特別是動(dòng)態(tài)不確定環(huán)境 (如真實(shí)世界)中的規(guī)劃問(wèn)題，具有重要的理論意義和極其廣泛的應(yīng)用背景。 部分可觀察的馬爾可夫決策過(guò)程(Partially Observable Markov DecisionProcesses POMDP)對(duì)不確定環(huán)境中的連續(xù)決策進(jìn)行了抽象建模。當(dāng)前用 POMDP來(lái)解決不確定環(huán)境下的規(guī)劃問(wèn)題已經(jīng)成為人工智能研究中的一個(gè)非常重要的研究領(lǐng)域。然而大部分的現(xiàn)實(shí)應(yīng)用都有很大的狀態(tài)空間

2、和觀察空間，求解大規(guī)模的有限階段POMDP的最佳策略是PSPACE-complete難的。本文通過(guò)對(duì)POMDP 模型及已有求解方式的研究，針對(duì)動(dòng)態(tài)不確定環(huán)境下的規(guī)劃問(wèn)題提出一種實(shí)時(shí)在線的POMDP求解方法，并將 POMDF，應(yīng)用于 RoboCup2D 守門(mén)員決策。本文的主要工作包括以下幾點(diǎn)： ●介紹POMDP模型，分析已有的POMDP求解算法。 ●通過(guò)對(duì)POMDP模型以及現(xiàn)有技術(shù)的分析，針對(duì)大規(guī)模POMDP求解難的問(wèn)題，

3、提出一種因子化的基于啟發(fā)式搜索的實(shí)時(shí)求解算法FRTHS，該算法采用因子化的狀態(tài)表示以降低維度災(zāi)難對(duì)計(jì)算復(fù)雜度的影響，用啟發(fā)式搜索逐步擴(kuò)展與或策略樹(shù)和反向更新值函數(shù)的方法求解當(dāng)前信念狀態(tài)下最優(yōu)動(dòng)作。另外通過(guò)引入開(kāi)關(guān)變量大大提高了搜索速度。 ●討論了基于FRTHS求解算法的POMDP模型的應(yīng)用范圍，由于在線決策建立在離線計(jì)算的結(jié)果之上，且在實(shí)時(shí)決策時(shí)加入對(duì)決策時(shí)間的考慮，F(xiàn)RTHS能很好的適應(yīng)高度實(shí)時(shí)的不確定環(huán)境。在傳統(tǒng)的格子世界追