貝葉斯強(qiáng)化學(xué)習(xí)中策略迭代算法研究.pdf

1、貝葉斯強(qiáng)化學(xué)習(xí)是基于貝葉斯技術(shù)，利用概率分布對(duì)值函數(shù)、策略和環(huán)境模型等參數(shù)進(jìn)行建模，求解強(qiáng)化學(xué)習(xí)相關(guān)任務(wù)，其主要思想是利用先驗(yàn)分布估計(jì)未知參數(shù)的不確定性，然后通過獲得的觀察信息計(jì)算后驗(yàn)分布來學(xué)習(xí)知識(shí)?；诖耍疚囊圆呗缘椒榭蚣?，提出三種改進(jìn)的基于貝葉斯推理和策略迭代的強(qiáng)化學(xué)習(xí)算法：
　　（1）針對(duì)傳統(tǒng)的貝葉斯強(qiáng)化學(xué)習(xí)算法在學(xué)習(xí)未知的環(huán)境模型時(shí)，不能動(dòng)態(tài)地控制環(huán)境模型學(xué)習(xí)次數(shù)的缺陷，提出一種基于貝葉斯智能模型學(xué)習(xí)的策略迭代算法

2、。一方面，算法在模型學(xué)習(xí)部分利用Dirichlet分布方差閾值決定是否需要繼續(xù)學(xué)習(xí)模型，既保證模型學(xué)習(xí)的充分性，又降低模型學(xué)習(xí)的無效率。另一方面，算法在策略學(xué)習(xí)時(shí)利用探索激勵(lì)因子為選取探索動(dòng)作提供保障，同時(shí)，也使得模型學(xué)習(xí)能夠遍歷所有狀態(tài)動(dòng)作對(duì)，確保算法收斂。模型學(xué)習(xí)和策略學(xué)習(xí)相輔相成，使得算法收斂到最優(yōu)策略。
　?。?）針對(duì)傳統(tǒng)的強(qiáng)化學(xué)習(xí)算法無法高效地解決動(dòng)作探索與利用的平衡問題，提出一種基于動(dòng)作值函數(shù)(Q值函數(shù))概率估計(jì)的異步

3、策略迭代算法。在策略評(píng)估部分，利用高斯伽瑪分布對(duì)Q值函數(shù)進(jìn)行建模，基于先驗(yàn)分布和觀察的數(shù)據(jù)求解Q值函數(shù)后驗(yàn)，評(píng)估策略好壞。在策略改進(jìn)部分，基于Q值函數(shù)后驗(yàn)分布，利用Myopic-VPI求解最優(yōu)動(dòng)作，保證動(dòng)作探索與利用達(dá)到平衡。最后，算法采用異步更新方法，傾向于計(jì)算與策略相關(guān)的動(dòng)作值函數(shù)，提高算法收斂速度。
　　（3）針對(duì)傳統(tǒng)的策略迭代算法無法高效地解決狀態(tài)連續(xù)的且環(huán)境模型未知的MDP問題，提出一種基于高斯過程時(shí)間差分的在線策略迭代