激勵(lì)學(xué)習(xí)的若干新算法及其理論研究.pdf

1、本博士論文大體上可以分成兩大部分，第一部分我們給出了激勵(lì)學(xué)習(xí)的一些新算法，其目的是為了改進(jìn)現(xiàn)有算法所面臨的諸于維數(shù)災(zāi)難與計(jì)算速度等問題。第二部分是我們在基于風(fēng)險(xiǎn)敏感度概念的基礎(chǔ)上，研究了與激勵(lì)學(xué)習(xí)有關(guān)的最優(yōu)方程與最優(yōu)解的理論問題。 本論文首先提出了一種新的激勵(lì)學(xué)習(xí)算法，即我們所說的激勵(lì)學(xué)習(xí)的遺忘算法。這種算法的基本思想是基于下面的考慮：以前的有關(guān)激勵(lì)學(xué)習(xí)算法都只是通過對狀態(tài)被訪問次數(shù)的短時(shí)記憶來確定狀態(tài)值函數(shù)空間的更新長度。對于

2、這些算法來說，無論是用lookup表的形式，還是用函數(shù)逼近器的形式，對所有狀態(tài)的值函數(shù)都必須要全部記憶。這些方法對大狀態(tài)空間問題會導(dǎo)致需要指數(shù)增長的記憶容量，從而呈指數(shù)地減慢計(jì)算速度。Sutton等人考慮過這個(gè)問題，但始終沒有得到滿意的解決方案?；谏鲜隹紤]，將記憶心理學(xué)中有關(guān)遺忘的基本原理引入值函數(shù)的激勵(lì)學(xué)習(xí)算法的研究之中，特別是對于著名的SARSA(λ)算法，形成了一類適合于值函數(shù)激勵(lì)學(xué)習(xí)的遺忘算法。 我們提出了基于效用聚類

3、的激勵(lì)學(xué)習(xí)算法。這種算法的模型使用了POMDP的某些概念。在激勵(lì)學(xué)習(xí)的諸多算法中，把非常多的精力集中在如何對系統(tǒng)的大狀態(tài)空間進(jìn)行有效的分解，其中U-Tree算法是其之一。但是，由于U-Tree算法的一個(gè)最大的問題是邊緣節(jié)點(diǎn)生成的隨意性和統(tǒng)計(jì)檢驗(yàn)的計(jì)算負(fù)擔(dān)，各種擴(kuò)展方法都沒有解決這個(gè)問題。本文提出了一種新的效用聚類激勵(lì)學(xué)習(xí)算法，即我們稱之為U-Clustering算法。該算法完全不用進(jìn)行邊緣節(jié)點(diǎn)的生成和測試，克服了上述提及的U-Tree算

4、法的致命弱點(diǎn)。我們的新算法首先根據(jù)實(shí)例鏈的觀測動作值對實(shí)例進(jìn)行聚類，然后對每個(gè)聚類進(jìn)行特征選擇，最后再進(jìn)行特征壓縮，經(jīng)過壓縮后的新特征就成為新的葉節(jié)點(diǎn)。實(shí)驗(yàn)與仿真結(jié)果表明，我們的新算法比一般的U-Tree算法更有效。 針對具有大狀態(tài)空間的環(huán)境系統(tǒng)以及系統(tǒng)狀態(tài)不完全可觀測所面臨的問題，本論文提出了求解部分可觀測Markov決策過程的動態(tài)合并算法。這個(gè)方法利用區(qū)域這個(gè)概念，在環(huán)境狀態(tài)空間上建立一個(gè)區(qū)域系統(tǒng)，而Agent在區(qū)域系統(tǒng)的每

5、個(gè)區(qū)域上獨(dú)自實(shí)現(xiàn)其最優(yōu)目標(biāo)，就好像有若干個(gè)Agent在并行工作一樣。然后把各組成部分的最優(yōu)值函數(shù)按一定的方式整合，最后得出POMDP的最優(yōu)解。另外還對提出的算法進(jìn)行了復(fù)雜度分析和仿真實(shí)驗(yàn)。通過對New York Driving的仿真和算法的實(shí)驗(yàn)分析，結(jié)果表明動態(tài)合并算法對于大狀態(tài)空間上的求解問題是一個(gè)非常有效的算法。 本文提出了風(fēng)險(xiǎn)敏感度的激勵(lì)學(xué)習(xí)廣義平均算法。這個(gè)算法通過潛在地犧牲解的最優(yōu)性來獲取魯棒性(Robustness)

6、。提出這種算法的主要原因是因?yàn)?，如果在理論模型與實(shí)際的物理系統(tǒng)之間存在不匹配，或者實(shí)際系統(tǒng)是非靜態(tài)的，或者控制動作的“可使用性”隨時(shí)間的變化而變化時(shí)，那么魯棒性就可能成為一個(gè)十分重要的問題。我們利用廣義平均算子來替代最大算子max(或sup)，對激勵(lì)學(xué)習(xí)問題中的動態(tài)規(guī)劃算法進(jìn)行了研究，并討論了它們的收斂性，目的就是為了提高激勵(lì)學(xué)習(xí)算法的魯棒性。我們提出了風(fēng)險(xiǎn)敏感度漸進(jìn)策略遞歸激勵(lì)學(xué)習(xí)算法并對策略的最優(yōu)性進(jìn)行了討論。當(dāng)系統(tǒng)的計(jì)算出現(xiàn)維數(shù)災(zāi)

7、難時(shí)，比如在Markov決策過程的求解問題中，如果系統(tǒng)的動作空間非常之大，那么利用一般的策略遞歸(PI)算法或值遞歸(VI)算法，來進(jìn)行策略的改進(jìn)計(jì)算是不實(shí)際的。我們這個(gè)算法所關(guān)注的問題是，當(dāng)狀態(tài)空間相對較小而動作空間非常之大時(shí)如何得到最優(yōu)策略或好的策略。在本算法的策略改進(jìn)過程中，不需在整個(gè)動作空間上對值函數(shù)進(jìn)行最大化運(yùn)算，而是通過策略轉(zhuǎn)換的方法來直接處理策略問題的。 本文的另一個(gè)主要內(nèi)容是，我們對多時(shí)間尺度風(fēng)險(xiǎn)敏感度Marko

8、v決策過程的最優(yōu)方程與解的最優(yōu)性問題進(jìn)行了初步研究。由于需要使智能體能夠適應(yīng)更加復(fù)雜的環(huán)境，因此大規(guī)?？刂茊栴}在實(shí)際應(yīng)用中顯得越來越重要。在本章中采用了一種更加符合實(shí)際情況的復(fù)雜環(huán)境，即多時(shí)間尺度下的Markov決策過程模型，并利用風(fēng)險(xiǎn)敏感度的概念，第一次提出了多時(shí)間尺度風(fēng)險(xiǎn)敏感度Markov決策過程的概念。這是一個(gè)全新的問題。我們利用效用函數(shù)和風(fēng)險(xiǎn)敏感度等概念，討論了二時(shí)間尺度風(fēng)險(xiǎn)敏感度Markov決策問題，然后給出了二時(shí)間尺度風(fēng)險(xiǎn)敏