強化學習中離策略算法的分析及研究.pdf

1、強化學習是一種通過與環(huán)境進行“試錯”交互尋找能夠帶來最大期望累積獎賞策略的學習方法。根據(jù)學習過程中行為策略與目標策略是否一致,強化學習方法分為在策略算法和離策略算法。與在策略算法相比,離策略算法具有更加廣泛的應用范圍,離策略算法已經(jīng)成為當前強化學習領域的一個研究熱點。本文針對當前離策略算法研究中難以收斂、收斂速度慢以及收斂精度低的問題展開分析,并提出一系列解決方案。本文主要研究內(nèi)容包括以下四部分:
　　(1)提出一種基于線性函數(shù)逼

2、近的離策略Q(λ)算法,該算法通過引入重要性關聯(lián)因子,在迭代次數(shù)逐步增長的過程中,使得在策略與離策略相統(tǒng)一,確保算法的收斂性。同時在保證在策略與離策略的樣本數(shù)據(jù)一致性的前提下,對算法的收斂性給予理論證明。
　　(2)從TD Error的角度出發(fā),給出n階TD Error的概念,并將n階TD Error用于經(jīng)典的Q(λ)學習算法,提出一種二階TD Error快速Q(mào)(λ)學習算法——()SOEFQλ。該算法利用二階TD Error修正

3、Q值函數(shù),并通過資格跡將TD Error傳播至整個狀態(tài)動作空間,加快算法的收斂速度。在此基礎之上,分析算法的收斂性及收斂效率,在僅考慮一步更新的情況下,算法所要執(zhí)行的迭代次數(shù)T主要指數(shù)依賴于111γε、。
　　(3)提出在學習過程中通過遷移值函數(shù)信息,減少算法收斂所需要的樣本數(shù)量,加快算法的收斂速度?；趶娀瘜W習中經(jīng)典的離策略Q-Learning算法的學習框架,結合值函數(shù)遷移方法,優(yōu)化算法初始值函數(shù)的設置,提出一種新的基于值函數(shù)遷

4、移的快速Q(mào)-Learning算法——VFT-Q-Learning。該算法在執(zhí)行前期,通過引入自模擬度量方法,在狀態(tài)空間以及動作空間一致的情況下,對目標任務中的狀態(tài)與歷史任務中的狀態(tài)之間的距離進行度量,對其中相似并滿足一定條件的狀態(tài)進行值函數(shù)遷移,而后再通過學習算法進行學習。
　　(4)針對大規(guī)模狀態(tài)空間或者連續(xù)狀態(tài)空間、確定環(huán)境問題中的探索和利用的平衡問題,提出一種基于高斯過程的離策略近似策略迭代算法。該算法利用高斯過程對帶參的值