不確定半馬爾可夫系統(tǒng)最優(yōu)魯棒決策研究.pdf

1、 半馬爾可夫決策過(guò)程(SMDP)可用來(lái)描述實(shí)際生活中很大一類離散事件動(dòng)態(tài)系統(tǒng)，即半Markov系統(tǒng)。實(shí)際的系統(tǒng)不可避免地存在不確定性，而且對(duì)系統(tǒng)的優(yōu)化往往涉及多極值優(yōu)化問(wèn)題，這使得對(duì)不確定SMDP魯棒決策的研究更具現(xiàn)實(shí)意義。本文的主要工作是研究利用全局優(yōu)化方法求解不確定SMDP的最優(yōu)魯棒控制策略。 SMDP一般是通過(guò)等價(jià)的馬爾可夫決策過(guò)程(MDP)來(lái)分析研究的，同時(shí)對(duì)不確定SMDP的研究也是以確定性SMDP為基礎(chǔ)的，故論文

2、首先介紹了等價(jià)MDP的概念和確定性SMDP系統(tǒng)基于性能勢(shì)的優(yōu)化方法，再介紹不確定SMDP基于性能勢(shì)的魯棒決策求解的統(tǒng)一算法，它適用于平均和折扣準(zhǔn)則兩種情況。針對(duì)系統(tǒng)優(yōu)化過(guò)程中可能涉及的多極值優(yōu)化問(wèn)題，本文重點(diǎn)介紹了用以解決這一問(wèn)題的兩種全局優(yōu)化方法，即模擬退火算法和填充函數(shù)法。詳細(xì)討論了基于全局優(yōu)化的系統(tǒng)優(yōu)化方法在各種不確定SMDP魯棒決策問(wèn)題中的應(yīng)用，包括在不相關(guān)不確定參數(shù)條件下求解系統(tǒng)最優(yōu)魯棒控制策略的策略迭代算法，和在相關(guān)不確定參

3、數(shù)條件下求解系統(tǒng)最優(yōu)魯棒控制策略的一類極小極大優(yōu)化算法。在每種參數(shù)條件下又分為兩種情況，分別是僅等價(jià)無(wú)窮小生成子依賴系統(tǒng)參數(shù)，和性能函數(shù)與等價(jià)無(wú)窮小生成子都依賴系統(tǒng)參數(shù)。 本文以SMDP的數(shù)值實(shí)驗(yàn)方式，說(shuō)明了有關(guān)算法在各種不確定情況下求解魯棒決策問(wèn)題的運(yùn)用，驗(yàn)證了算法對(duì)折扣和平均兩種準(zhǔn)則是統(tǒng)一的；通過(guò)大量實(shí)驗(yàn)結(jié)果分析，討論了各種算法在不同情況下的優(yōu)化效果，以及針對(duì)不同情況選擇和使用算法的建議；論文研究結(jié)果對(duì)建立實(shí)際半Markov