專家知識輔助的強化學習研究及其在無人機路徑規(guī)劃中的應用.pdf

1、隨著科技不斷發(fā)展進步，無人機的應用范圍逐漸擴大，這無形中對其智能化提出了更高的要求。未來的無人機應該通過與環(huán)境交互自主完成障礙躲避、路徑規(guī)劃等常規(guī)任務，而不是僅僅依賴于手動編寫的程序。強化學習算法是實現(xiàn)自主化的一條可行技術路線，并已被用于游戲及其它一些人工較難掌控任務的學習中，然而，其在訓練時較大的在線運算壓力及較長的交互過程阻礙了它更為廣泛的應用，特別是在無人機領域。
　　針對此種情形，本文以強化學習算法及其在無人機路徑規(guī)劃中的

2、應用為主要研究內(nèi)容，嘗試在強化學習開始前賦予智能體特定的專家知識來提高學習算法的實用性。研究主要從以下兩方面展開:一是結合專家對任務的了解，通過引入批量遞歸最小二乘或構造特殊基函數(shù)來降低對稱任務中學習的運算復雜度;二是從遷移的角度出發(fā)，重點研究在新任務強化學習中復用源任務示教軌跡所含專家知識的方法，并進一步探索了示教知識遷移輔助的強化學習在無人機路徑規(guī)劃中的應用。
　　本文的主要研究工作和貢獻歸納如下:
　　1、系統(tǒng)綜述了強

3、化學習算法及其應用現(xiàn)狀，著重介紹了引入專家知識以彌補其白板學習盲目性的研究，特別是與遷移算法相結合的部分;總結了遷移在強化學習中應用的難點，并提出從簡單源任務的示教軌跡中挖掘并遷移知識到新任務中加速強化學習的框架。
　　2、針對在Actor-Critic結構強化學習算法中智能體用最小二乘法估計自然梯度的運算量是估計普通梯度數(shù)倍的問題，本文提出利用批量遞歸的思想來有效降低智能體在線運算壓力。強化學習過程中，智能體可以在交互數(shù)據(jù)達到專

4、家設定的數(shù)量之后再用遞歸最小二乘法估計自然梯度，從而明顯減少了梯度估計次數(shù);與此同時，由于每次梯度估計更為準確，智能體可以適當增大策略參數(shù)更新步長以保證算法收斂速度不受明顯影響?？傊窟f歸使得智能體能夠在可接受的在線運算壓力下靈活處理交互數(shù)據(jù)。
　　3、針對狀態(tài)動作空間存在對稱性的任務，本文提出一種能夠近似對稱狀態(tài)值函數(shù)及策略的特殊基函數(shù)。專家在構造基函數(shù)時，同時考慮中心點及其對稱位置信息從而使基函數(shù)的值在對稱位置自然相等，進

5、而使得狀態(tài)值函數(shù)在對稱狀態(tài)也相等。然而，由于特殊基函數(shù)數(shù)量與常規(guī)基函數(shù)相比較少，強化學習速度明顯加快且運算壓力顯著降低。
　　4、由于源任務示教軌跡數(shù)量有限且單個軌跡所含數(shù)據(jù)較多，用機器學習分類較難，本文提出結合動態(tài)運動基元與卷積神經(jīng)網(wǎng)絡進行分類的方法。算法首先將示教軌跡視作獨立的多維時間序列并用不同動態(tài)運動基元的參數(shù)依次作為各個維度的表征;之后，用改造的卷積神經(jīng)網(wǎng)絡發(fā)掘基元參數(shù)序列的結構變化信息進行分類;最后，綜合各維度分類情況

6、以確定軌跡類別。
　　5、針對專家較易示教簡單任務而強化學習適于解決較難問題的情況，本文提出多種在較難任務強化學習中復用與之相關源任務示教軌跡所含專家知識的方法。本文嘗試從多個角度挖掘示教軌跡所含專家知識，并經(jīng)由智能體空間或任務間關系映射遷移到新任務中，通過引導學習的探索過程、鼓勵訪問某些狀態(tài)或直接作為選擇動作的初始策略等方式加快新任務的學習速度。
　　6、為在無人機路徑規(guī)劃中應用強化學習，本文提出用重構的示教軌跡來引導智能