不確定半馬爾可夫系統(tǒng)最優(yōu)魯棒決策研究.pdf

1、 半馬爾可夫決策過程(SMDP)可用來描述實際生活中很大一類離散事件動態(tài)系統(tǒng)，即半Markov系統(tǒng)。實際的系統(tǒng)不可避免地存在不確定性，而且對系統(tǒng)的優(yōu)化往往涉及多極值優(yōu)化問題，這使得對不確定SMDP魯棒決策的研究更具現(xiàn)實意義。本文的主要工作是研究利用全局優(yōu)化方法求解不確定SMDP的最優(yōu)魯棒控制策略。 SMDP一般是通過等價的馬爾可夫決策過程(MDP)來分析研究的，同時對不確定SMDP的研究也是以確定性SMDP為基礎(chǔ)的，故論文

2、首先介紹了等價MDP的概念和確定性SMDP系統(tǒng)基于性能勢的優(yōu)化方法，再介紹不確定SMDP基于性能勢的魯棒決策求解的統(tǒng)一算法，它適用于平均和折扣準則兩種情況。針對系統(tǒng)優(yōu)化過程中可能涉及的多極值優(yōu)化問題，本文重點介紹了用以解決這一問題的兩種全局優(yōu)化方法，即模擬退火算法和填充函數(shù)法。詳細討論了基于全局優(yōu)化的系統(tǒng)優(yōu)化方法在各種不確定SMDP魯棒決策問題中的應(yīng)用，包括在不相關(guān)不確定參數(shù)條件下求解系統(tǒng)最優(yōu)魯棒控制策略的策略迭代算法，和在相關(guān)不確定參

3、數(shù)條件下求解系統(tǒng)最優(yōu)魯棒控制策略的一類極小極大優(yōu)化算法。在每種參數(shù)條件下又分為兩種情況，分別是僅等價無窮小生成子依賴系統(tǒng)參數(shù)，和性能函數(shù)與等價無窮小生成子都依賴系統(tǒng)參數(shù)。 本文以SMDP的數(shù)值實驗方式，說明了有關(guān)算法在各種不確定情況下求解魯棒決策問題的運用，驗證了算法對折扣和平均兩種準則是統(tǒng)一的；通過大量實驗結(jié)果分析，討論了各種算法在不同情況下的優(yōu)化效果，以及針對不同情況選擇和使用算法的建議；論文研究結(jié)果對建立實際半Markov