連續(xù)時(shí)間MDPs增強(qiáng)學(xué)習(xí)方法及其在無(wú)人機(jī)控制中的應(yīng)用.pdf

1、無(wú)人機(jī)系統(tǒng)在惡劣氣象條件和動(dòng)態(tài)戰(zhàn)場(chǎng)環(huán)境中的應(yīng)用，給無(wú)人機(jī)控制技術(shù)帶來(lái)不確定性、高度非線性、多輸入多輸出、輸入通道耦合以及非結(jié)構(gòu)化環(huán)境和動(dòng)態(tài)環(huán)境等諸多挑戰(zhàn)。論文以人工智能的視角，從連續(xù)時(shí)間Markov決策過(guò)程（Continuous-time Markov Decision Processes，CTMDPs）出發(fā)，發(fā)展了適用于CTMDPs增強(qiáng)學(xué)習(xí)的新理論方法，并應(yīng)用到無(wú)人機(jī)自主控制當(dāng)中。論文綜合運(yùn)用Markov決策過(guò)程（Markov Dec

2、ision Processes，MDPs）、隨機(jī)優(yōu)化、增強(qiáng)學(xué)習(xí)等多種理論，重點(diǎn)對(duì)基于性能勢(shì)的CTMDPs問(wèn)題模型、策略迭代求解算法、增強(qiáng)學(xué)習(xí)方法以及其在無(wú)人機(jī)控制中的應(yīng)用等方面進(jìn)行了理論與應(yīng)用研究。論文的主要研究成果如下：
　　1、采取連續(xù)時(shí)間Markov決策過(guò)程對(duì)無(wú)人機(jī)系統(tǒng)控制問(wèn)題中的不確定性進(jìn)行建模，構(gòu)建了基于性能勢(shì)的CTMDPs模型。1）MDPs通過(guò)假設(shè)狀態(tài)之間轉(zhuǎn)移是概率的，為環(huán)境中不確定性建模提供了有效的概率化方法。針對(duì)非

3、結(jié)構(gòu)化環(huán)境和動(dòng)態(tài)環(huán)境中，無(wú)人機(jī)系統(tǒng)參數(shù)和環(huán)境都是時(shí)變的特點(diǎn)，論文利用具有連續(xù)狀態(tài)轉(zhuǎn)移時(shí)間的CTMDPs模型替代具有固定轉(zhuǎn)移時(shí)間的傳統(tǒng)MDPs模型。通過(guò)動(dòng)態(tài)性很強(qiáng)的“雙車(chē)博弈”例子，驗(yàn)證了CTMDPs模型比MDPs模型具有更好的性能。2）要想求解CTMDPs模型，首先需要獲得模型參數(shù)。然而，現(xiàn)有CTMDPs模型中參數(shù)具有時(shí)變形式，很難顯式地給出其概率分布。另一方面，模型參數(shù)與樣本路徑之間沒(méi)有明顯的估計(jì)關(guān)系式，因此很難通過(guò)樣本路徑來(lái)估計(jì)模型

4、參數(shù)。為此，借助于性能勢(shì)對(duì)Markov隨機(jī)過(guò)程的描述，論文構(gòu)建了基于性能勢(shì)的CTMDPs模型。
　　2、首次提出了基于性能勢(shì)的CTMDPs模型策略迭代求解算法。1）利用性能勢(shì)理論推導(dǎo)出了長(zhǎng)期平均收益意義下：策略基本引理、最優(yōu)策略的充分必要性條件、以及具體的CTMDPs策略迭代算法。2）在理論上證明了所提出算法的收斂性以及算法解的最優(yōu)性。3）在理論上分析了傳統(tǒng)MDPs只是CTMDPs在單位轉(zhuǎn)移速率矩陣Λ=I時(shí)的特例。4）通過(guò)一個(gè)具有

5、強(qiáng)對(duì)抗性的動(dòng)態(tài)博弈例子對(duì)所提出的CTMDPs策略迭代算法進(jìn)行驗(yàn)證，并與傳統(tǒng)MDPs方法進(jìn)行比較。結(jié)果表明所提出的CTMDPs算法能夠很好地接近問(wèn)題的最優(yōu)解析解，并對(duì)參數(shù)的變化具有較高的魯棒性。與傳統(tǒng)MDPs比較結(jié)果顯示，無(wú)論是從解的質(zhì)量還是算法的魯棒性來(lái)看，CTMDPs策略迭代算法都具有明顯優(yōu)勢(shì)。
　　3、首次提出了基于性能勢(shì)的 CTMDPs模型增強(qiáng)學(xué)習(xí)方法。1）給出了CTMDPs中狀態(tài)轉(zhuǎn)移速率、嵌入鏈轉(zhuǎn)移概率等參數(shù)的估計(jì)公式。對(duì)

6、性能勢(shì)估計(jì)，給出了適合離線估計(jì)的L步估計(jì)算法，以及適合于在線估計(jì)的時(shí)間差分算法，并從理論和仿真兩個(gè)方面對(duì)估計(jì)公式收斂性進(jìn)行了驗(yàn)證。2）推導(dǎo)出了增強(qiáng)學(xué)習(xí)的具體算法，并討論了如何避免求解過(guò)程陷入局部極值點(diǎn)。3）以標(biāo)準(zhǔn)的增強(qiáng)學(xué)習(xí)驗(yàn)證問(wèn)題（倒立擺）為例，對(duì)比了Q-learning、Actor-Critic、GENITOR、SANE等它經(jīng)典學(xué)習(xí)方法以及傳統(tǒng)MDPs模型學(xué)習(xí)方法，結(jié)果表明CTMDPs-RL方法求解速度比上述方法更快且陷入局部極值點(diǎn)的

7、情況更少。
　　4、應(yīng)用基于連續(xù)時(shí)間Markov決策過(guò)程的增強(qiáng)學(xué)習(xí)方法求解了無(wú)人機(jī)控制問(wèn)題。1）給出了無(wú)人機(jī)引導(dǎo)任務(wù)中具有積分型指標(biāo)和終端型指標(biāo)的兩類(lèi)控制問(wèn)題在增強(qiáng)學(xué)習(xí)方法下的統(tǒng)一求解框架。2）分別利用CTMDPs-RL算法求解了爬升-下降”軌跡跟蹤、“S型轉(zhuǎn)彎”軌跡跟蹤兩個(gè)具有積分型指標(biāo)的算例；以及定高飛行、定速飛行兩個(gè)具有終端型指標(biāo)的算例。通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的性能與誤差分析，表明CTMDPs-RL算法在無(wú)人機(jī)動(dòng)力學(xué)模型未知前提下，