增強(qiáng)學(xué)習(xí)reinforcement learning經(jīng)典算法梳理

1、增強(qiáng)學(xué)習(xí)增強(qiáng)學(xué)習(xí)ReinfcementLearning經(jīng)典算法梳理經(jīng)典算法梳理1：policyvalueiteration前言前言就目前來(lái)看，深度增強(qiáng)學(xué)習(xí)（DeepReinfcementLearning)中的很多方法都是基于以前的增強(qiáng)學(xué)習(xí)算法，將其中的valuefunction價(jià)值函數(shù)或者Policyfunction策略函數(shù)用深度神經(jīng)網(wǎng)絡(luò)替代而實(shí)現(xiàn)。因此，本文嘗試總結(jié)增強(qiáng)學(xué)習(xí)中的經(jīng)典算法。本文主要參考：1ReinfcementLearn

2、ing:AnIntroduction；2ReinfcementLearningCoursebyDavidSilver1預(yù)備知識(shí)預(yù)備知識(shí)對(duì)增強(qiáng)學(xué)習(xí)有所理解，知道MDP，Bellman方程詳細(xì)可見(jiàn)：DeepReinfcementLearning基礎(chǔ)知識(shí)（DQN方面）很多算法都是基于求解Bellman方程而形成：ValueIterationPolicyIterationQLearningSARSA2PolicyIteration策略迭代策略迭

3、代PolicyIteration的目的是通過(guò)迭代計(jì)算valuefunction價(jià)值函數(shù)的方式來(lái)使policy收斂到最優(yōu)。PolicyIteration本質(zhì)上就是直接使用Bellman方程而得到的：那么PolicyIteration一般分成兩步：PolicyEvaluation策略評(píng)估。目的是更新ValueFunctionPolicyImprovement策略改進(jìn)。使用greedypolicy產(chǎn)生新的樣本用于第一步的策略評(píng)估。然后改變成迭

4、代形式valueiteration的算法如下：那么問(wèn)題來(lái)了：PolicyIteration和ValueIteration有什么本質(zhì)區(qū)別？為什么一個(gè)叫policyiteration，一個(gè)叫valueiteration呢？原因其實(shí)很好理解，policyiteration使用bellman方程來(lái)更新value，最后收斂的value即vπ是當(dāng)前policy下的value值（所以叫做對(duì)policy進(jìn)行評(píng)估），目的是為了后面的policyimpro

5、vement得到新的policy。而valueiteration是使用bellman最優(yōu)方程來(lái)更新value，最后收斂得到的value即v?就是當(dāng)前state狀態(tài)下的最優(yōu)的value值。因此，只要最后收斂，那么最優(yōu)的policy也就得到的。因此這個(gè)方法是基于更新value的，所以叫valueiteration。從上面的分析看，valueiteration較之policyiteration更直接。不過(guò)問(wèn)題也都是一樣，需要知道狀態(tài)轉(zhuǎn)移函數(shù)p