激勵學習的若干新算法及其理論研究.pdf

1、本博士論文大體上可以分成兩大部分，第一部分我們給出了激勵學習的一些新算法，其目的是為了改進現有算法所面臨的諸于維數災難與計算速度等問題。第二部分是我們在基于風險敏感度概念的基礎上，研究了與激勵學習有關的最優(yōu)方程與最優(yōu)解的理論問題。 本論文首先提出了一種新的激勵學習算法，即我們所說的激勵學習的遺忘算法。這種算法的基本思想是基于下面的考慮：以前的有關激勵學習算法都只是通過對狀態(tài)被訪問次數的短時記憶來確定狀態(tài)值函數空間的更新長度。對于

2、這些算法來說，無論是用lookup表的形式，還是用函數逼近器的形式，對所有狀態(tài)的值函數都必須要全部記憶。這些方法對大狀態(tài)空間問題會導致需要指數增長的記憶容量，從而呈指數地減慢計算速度。Sutton等人考慮過這個問題，但始終沒有得到滿意的解決方案?；谏鲜隹紤]，將記憶心理學中有關遺忘的基本原理引入值函數的激勵學習算法的研究之中，特別是對于著名的SARSA(λ)算法，形成了一類適合于值函數激勵學習的遺忘算法。 我們提出了基于效用聚類

3、的激勵學習算法。這種算法的模型使用了POMDP的某些概念。在激勵學習的諸多算法中，把非常多的精力集中在如何對系統(tǒng)的大狀態(tài)空間進行有效的分解，其中U-Tree算法是其之一。但是，由于U-Tree算法的一個最大的問題是邊緣節(jié)點生成的隨意性和統(tǒng)計檢驗的計算負擔，各種擴展方法都沒有解決這個問題。本文提出了一種新的效用聚類激勵學習算法，即我們稱之為U-Clustering算法。該算法完全不用進行邊緣節(jié)點的生成和測試，克服了上述提及的U-Tree算

4、法的致命弱點。我們的新算法首先根據實例鏈的觀測動作值對實例進行聚類，然后對每個聚類進行特征選擇，最后再進行特征壓縮，經過壓縮后的新特征就成為新的葉節(jié)點。實驗與仿真結果表明，我們的新算法比一般的U-Tree算法更有效。 針對具有大狀態(tài)空間的環(huán)境系統(tǒng)以及系統(tǒng)狀態(tài)不完全可觀測所面臨的問題，本論文提出了求解部分可觀測Markov決策過程的動態(tài)合并算法。這個方法利用區(qū)域這個概念，在環(huán)境狀態(tài)空間上建立一個區(qū)域系統(tǒng)，而Agent在區(qū)域系統(tǒng)的每

5、個區(qū)域上獨自實現其最優(yōu)目標，就好像有若干個Agent在并行工作一樣。然后把各組成部分的最優(yōu)值函數按一定的方式整合，最后得出POMDP的最優(yōu)解。另外還對提出的算法進行了復雜度分析和仿真實驗。通過對New York Driving的仿真和算法的實驗分析，結果表明動態(tài)合并算法對于大狀態(tài)空間上的求解問題是一個非常有效的算法。 本文提出了風險敏感度的激勵學習廣義平均算法。這個算法通過潛在地犧牲解的最優(yōu)性來獲取魯棒性(Robustness)

6、。提出這種算法的主要原因是因為，如果在理論模型與實際的物理系統(tǒng)之間存在不匹配，或者實際系統(tǒng)是非靜態(tài)的，或者控制動作的“可使用性”隨時間的變化而變化時，那么魯棒性就可能成為一個十分重要的問題。我們利用廣義平均算子來替代最大算子max(或sup)，對激勵學習問題中的動態(tài)規(guī)劃算法進行了研究，并討論了它們的收斂性，目的就是為了提高激勵學習算法的魯棒性。我們提出了風險敏感度漸進策略遞歸激勵學習算法并對策略的最優(yōu)性進行了討論。當系統(tǒng)的計算出現維數災

7、難時，比如在Markov決策過程的求解問題中，如果系統(tǒng)的動作空間非常之大，那么利用一般的策略遞歸(PI)算法或值遞歸(VI)算法，來進行策略的改進計算是不實際的。我們這個算法所關注的問題是，當狀態(tài)空間相對較小而動作空間非常之大時如何得到最優(yōu)策略或好的策略。在本算法的策略改進過程中，不需在整個動作空間上對值函數進行最大化運算，而是通過策略轉換的方法來直接處理策略問題的。 本文的另一個主要內容是，我們對多時間尺度風險敏感度Marko

8、v決策過程的最優(yōu)方程與解的最優(yōu)性問題進行了初步研究。由于需要使智能體能夠適應更加復雜的環(huán)境，因此大規(guī)?？刂茊栴}在實際應用中顯得越來越重要。在本章中采用了一種更加符合實際情況的復雜環(huán)境，即多時間尺度下的Markov決策過程模型，并利用風險敏感度的概念，第一次提出了多時間尺度風險敏感度Markov決策過程的概念。這是一個全新的問題。我們利用效用函數和風險敏感度等概念，討論了二時間尺度風險敏感度Markov決策問題，然后給出了二時間尺度風險敏