基于試錯(cuò)學(xué)習(xí)的強(qiáng)化學(xué)習(xí)算法的研究.pdf

1、從行為心理學(xué)發(fā)展而來(lái)，介于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)的強(qiáng)化學(xué)習(xí)算法，目前是機(jī)器學(xué)習(xí)研究領(lǐng)域的熱點(diǎn)，越來(lái)越受到關(guān)注?，F(xiàn)有的強(qiáng)化學(xué)習(xí)算法如Sarsa學(xué)習(xí)算法、Q學(xué)習(xí)算法等需要大量的存儲(chǔ)空間來(lái)存儲(chǔ)已有的知識(shí)，在大規(guī)?；蜻B續(xù)狀態(tài)空間問(wèn)題上，可能會(huì)引發(fā)“維數(shù)災(zāi)難”;而基于非線性值函數(shù)逼近的的時(shí)間差分學(xué)習(xí)TD(λ)算法，易陷入局部極值，并且算法是發(fā)散的。考慮到智能計(jì)算算法的全局尋優(yōu)能力、自適應(yīng)性等特點(diǎn)，本文分別使用遺傳算法和免疫耐受機(jī)制對(duì)強(qiáng)化學(xué)習(xí)算法進(jìn)行

2、優(yōu)化。
　　結(jié)合遺傳算法的全局搜索能力，本文提出了一種基于遺傳算法的強(qiáng)化學(xué)習(xí)算法，將強(qiáng)化學(xué)習(xí)算法中的權(quán)值整體看成是種群中的個(gè)體，仿生物“自然選擇”機(jī)理，對(duì)種群進(jìn)行擇優(yōu)迭代，執(zhí)行選擇、交叉、變異等操作。其中，選擇操作是通過(guò)輪盤(pán)賭方法，采用精英保留策略，對(duì)種群中的個(gè)體以一定的概率隨機(jī)性進(jìn)行較優(yōu)迭代;交叉是按照單點(diǎn)交叉，對(duì)隨機(jī)交叉點(diǎn)的兩個(gè)個(gè)體進(jìn)行兩兩交互;變異是對(duì)個(gè)體的隨機(jī)基因位進(jìn)行高斯變異。同時(shí)，在理論上進(jìn)行了算法分析，在仿真實(shí)驗(yàn)上對(duì)

3、新舊算法進(jìn)行了對(duì)比，均表明新算法具有更好的性能。
　　為了記憶對(duì)環(huán)境的學(xué)習(xí)，從而在遇到相似環(huán)境時(shí)加快學(xué)習(xí)速度，本文接著提出了一種基于免疫耐受機(jī)制的強(qiáng)化學(xué)習(xí)算法。該算法以TD（λ）為前提，在免疫耐受機(jī)制的基礎(chǔ)上，對(duì)權(quán)值進(jìn)行耐受調(diào)整。在學(xué)習(xí)中，用權(quán)值控制基于函數(shù)逼近的狀態(tài)值;當(dāng)誤差大于一定閾值時(shí)，使用免疫耐受對(duì)權(quán)值進(jìn)行優(yōu)化，否則直接根據(jù)系統(tǒng)狀態(tài)選擇最優(yōu)策略。經(jīng)過(guò)性能分析和仿真實(shí)驗(yàn)，結(jié)果表明新算法能以更小的誤差、更快地進(jìn)行全局搜索，并且