部分可觀馬爾科夫決策過程直接基于觀測的優(yōu)化方法研究.pdf

1、隨機(jī)動態(tài)系統(tǒng)性能優(yōu)化問題一直是眾多科學(xué)領(lǐng)域的熱點(diǎn)問題。對于一些狀態(tài)具有馬氏特征的復(fù)雜隨機(jī)動態(tài)系統(tǒng)，系統(tǒng)的狀態(tài)往往不可觀，能夠獲得的是與系統(tǒng)狀態(tài)存在一定關(guān)聯(lián)的觀測量。對于這一類狀態(tài)具有馬氏特征的復(fù)雜隨機(jī)動態(tài)系統(tǒng)，Markov決策過程模型優(yōu)化方法無法較高效地處理。因此部分可觀Markov決策過程(POMDPs)作為Markov決策過程數(shù)學(xué)模型的推廣被提出。部分可觀Markov決策過程模型可以很好地刻畫系統(tǒng)狀態(tài)未知的這一類系統(tǒng)，具有比Mark

2、ov決策過程更廣泛的應(yīng)用性。
　　針對Markov決策過程性能優(yōu)化問題，眾多領(lǐng)域給出了不同的解決方法。近年來，一種基于靈敏度分析的優(yōu)化方法被提出。該方法為眾多領(lǐng)域的不同優(yōu)化方法的有機(jī)地結(jié)合，形成了以性能勢理論為基礎(chǔ)，性能靈敏度公式為核心的優(yōu)化方法。目前，對于部分可觀Markov決策過程模型，基于系統(tǒng)觀測的部分可觀Markov決策過程的性能差分公式和性能導(dǎo)數(shù)公式已經(jīng)被導(dǎo)出。不過目前給出的靈敏度公式的推導(dǎo)過程需要滿足不同策略條件下條件

3、穩(wěn)態(tài)概率相同的假設(shè);另外推導(dǎo)過程中一些參數(shù)和公式還依賴于系統(tǒng)狀態(tài)。上述兩個(gè)限制導(dǎo)致目前提出的基于觀測的部分可觀Markov決策過程的性能靈敏度的優(yōu)化方法只能被應(yīng)用于一些特殊的排隊(duì)系統(tǒng)，不能被推廣到一般的部分可觀Markov決策過程。
　　本文在目前已給出的部分可觀Markov決策過程基于性能靈敏度方法基礎(chǔ)上，提出一種新的直接基于觀測的性能靈敏度優(yōu)化方法。該方法僅依據(jù)于可被獲得的系統(tǒng)觀測空間。我們將給出僅僅依賴于觀測的性能勢、報(bào)酬函

4、數(shù)等相關(guān)系統(tǒng)參數(shù)的定義。并根據(jù)基于觀測的性能勢與傳統(tǒng)性能勢的關(guān)系，推導(dǎo)出基于觀測的泊松方程。整個(gè)推導(dǎo)過程僅僅依據(jù)于系統(tǒng)的觀測，無需其他苛刻的條件限制?；谛路椒ǖ男阅莒`敏度分析可被推廣到一般的部分可觀Markov決策過程中，因此有廣泛的實(shí)際應(yīng)用性。本文將注重性能差公式的推導(dǎo)過程，并導(dǎo)出一種新的策略迭代算法。該算法可尋找出基于新方法的次優(yōu)策略。
　　本文針對大規(guī)模部分可觀Markov決策過程模型的優(yōu)化問題給出一種基于遞階控制理論的策