方差相關的策略梯度方法研究.pdf

1、強化學習作為機器學習的一個重要分支，它允許智能體直接與環(huán)境進行交互，并且可以在無標簽數(shù)據以及模型未知的情況下進行自主在線學習。目前絕大多數(shù)強化學習算法的目標是最大化平均獎賞或者長期累積（折扣）獎賞，但是對于控制、金融以及醫(yī)療診斷等風險敏感的問題，在最大化上述目標的同時應該考慮控制獎賞的方差，使得整個控制或者學習過程更加穩(wěn)定。本文著眼于風險敏感的強化學習問題，將方差相關的風險評估標準引入策略梯度方法中，提出方差相關的策略梯度算法。主要研究

2、可以概括為以下三部分：
　?。?）當離策略行動者-評論家算法采用探索性強的行為策略時，它的方差會增加，往往不能滿足風險敏感問題對于方差的要求。針對此問題，將方差相關的風險評估標準引入該算法中，提出一種方差相關的離策略行動者-評論家算法—VOPAC。從理論上分析了算法的收斂性，并通過一個復雜的連續(xù)狀態(tài)空間控制問題驗證算法在控制方差方面的有效性。
　?。?）時間差分與資格跡是強化學習中解決時間信度分配問題的非常有效的方法，并且被

3、廣泛運用于各種強化學習算法中?；谡鎸嵲诰€TD(?)算法，引入方差相關風險評估標準，提出一種方差相關的策略梯度時間差分算法—VPGTD(?)。從理論上證明了該算法的向前觀點與向后觀點的完全一致，并通過一個情節(jié)式的連續(xù)狀態(tài)空間控制問題驗證算法在控制方差方面的有效性。
　　（3）上述兩個研究是基于MDP模型的，對于POMDP模型，由于其對環(huán)境的感知是不準確的，所以不確定性更強，方差更大。針對此問題，將帶中間狀態(tài)的策略梯度算法結合值函數(shù)