專家知識輔助的強化學(xué)習(xí)研究及其在無人機路徑規(guī)劃中的應(yīng)用.pdf

1、隨著科技不斷發(fā)展進步，無人機的應(yīng)用范圍逐漸擴大，這無形中對其智能化提出了更高的要求。未來的無人機應(yīng)該通過與環(huán)境交互自主完成障礙躲避、路徑規(guī)劃等常規(guī)任務(wù)，而不是僅僅依賴于手動編寫的程序。強化學(xué)習(xí)算法是實現(xiàn)自主化的一條可行技術(shù)路線，并已被用于游戲及其它一些人工較難掌控任務(wù)的學(xué)習(xí)中，然而，其在訓(xùn)練時較大的在線運算壓力及較長的交互過程阻礙了它更為廣泛的應(yīng)用，特別是在無人機領(lǐng)域。
　　針對此種情形，本文以強化學(xué)習(xí)算法及其在無人機路徑規(guī)劃中的

2、應(yīng)用為主要研究內(nèi)容，嘗試在強化學(xué)習(xí)開始前賦予智能體特定的專家知識來提高學(xué)習(xí)算法的實用性。研究主要從以下兩方面展開:一是結(jié)合專家對任務(wù)的了解，通過引入批量遞歸最小二乘或構(gòu)造特殊基函數(shù)來降低對稱任務(wù)中學(xué)習(xí)的運算復(fù)雜度;二是從遷移的角度出發(fā)，重點研究在新任務(wù)強化學(xué)習(xí)中復(fù)用源任務(wù)示教軌跡所含專家知識的方法，并進一步探索了示教知識遷移輔助的強化學(xué)習(xí)在無人機路徑規(guī)劃中的應(yīng)用。
　　本文的主要研究工作和貢獻歸納如下:
　　1、系統(tǒng)綜述了強

3、化學(xué)習(xí)算法及其應(yīng)用現(xiàn)狀，著重介紹了引入專家知識以彌補其白板學(xué)習(xí)盲目性的研究，特別是與遷移算法相結(jié)合的部分;總結(jié)了遷移在強化學(xué)習(xí)中應(yīng)用的難點，并提出從簡單源任務(wù)的示教軌跡中挖掘并遷移知識到新任務(wù)中加速強化學(xué)習(xí)的框架。
　　2、針對在Actor-Critic結(jié)構(gòu)強化學(xué)習(xí)算法中智能體用最小二乘法估計自然梯度的運算量是估計普通梯度數(shù)倍的問題，本文提出利用批量遞歸的思想來有效降低智能體在線運算壓力。強化學(xué)習(xí)過程中，智能體可以在交互數(shù)據(jù)達到專

4、家設(shè)定的數(shù)量之后再用遞歸最小二乘法估計自然梯度，從而明顯減少了梯度估計次數(shù);與此同時，由于每次梯度估計更為準確，智能體可以適當(dāng)增大策略參數(shù)更新步長以保證算法收斂速度不受明顯影響?？傊窟f歸使得智能體能夠在可接受的在線運算壓力下靈活處理交互數(shù)據(jù)。
　　3、針對狀態(tài)動作空間存在對稱性的任務(wù)，本文提出一種能夠近似對稱狀態(tài)值函數(shù)及策略的特殊基函數(shù)。專家在構(gòu)造基函數(shù)時，同時考慮中心點及其對稱位置信息從而使基函數(shù)的值在對稱位置自然相等，進

5、而使得狀態(tài)值函數(shù)在對稱狀態(tài)也相等。然而，由于特殊基函數(shù)數(shù)量與常規(guī)基函數(shù)相比較少，強化學(xué)習(xí)速度明顯加快且運算壓力顯著降低。
　　4、由于源任務(wù)示教軌跡數(shù)量有限且單個軌跡所含數(shù)據(jù)較多，用機器學(xué)習(xí)分類較難，本文提出結(jié)合動態(tài)運動基元與卷積神經(jīng)網(wǎng)絡(luò)進行分類的方法。算法首先將示教軌跡視作獨立的多維時間序列并用不同動態(tài)運動基元的參數(shù)依次作為各個維度的表征;之后，用改造的卷積神經(jīng)網(wǎng)絡(luò)發(fā)掘基元參數(shù)序列的結(jié)構(gòu)變化信息進行分類;最后，綜合各維度分類情況

6、以確定軌跡類別。
　　5、針對專家較易示教簡單任務(wù)而強化學(xué)習(xí)適于解決較難問題的情況，本文提出多種在較難任務(wù)強化學(xué)習(xí)中復(fù)用與之相關(guān)源任務(wù)示教軌跡所含專家知識的方法。本文嘗試從多個角度挖掘示教軌跡所含專家知識，并經(jīng)由智能體空間或任務(wù)間關(guān)系映射遷移到新任務(wù)中，通過引導(dǎo)學(xué)習(xí)的探索過程、鼓勵訪問某些狀態(tài)或直接作為選擇動作的初始策略等方式加快新任務(wù)的學(xué)習(xí)速度。
　　6、為在無人機路徑規(guī)劃中應(yīng)用強化學(xué)習(xí)，本文提出用重構(gòu)的示教軌跡來引導(dǎo)智能