面向連續(xù)狀態(tài)的神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)研究.pdf

1、強(qiáng)化學(xué)習(xí)在人工智能領(lǐng)域包括工業(yè)生產(chǎn)、電梯調(diào)度、路徑規(guī)劃方面越多的得到運(yùn)用，可以用來解決隨機(jī)性或不確定性動(dòng)態(tài)系統(tǒng)最優(yōu)化這些決策類問題，而這些問題大多是具有連續(xù)狀態(tài)空間的，所以用一般基于值表法的強(qiáng)化學(xué)習(xí)算法很難解決。而神經(jīng)網(wǎng)絡(luò)的有效的泛化能力和抽象能力可以加入到強(qiáng)化學(xué)習(xí)中，來解決上述問題。本論文基于已有的強(qiáng)化學(xué)習(xí)算法，用含有資格跡的神經(jīng)網(wǎng)絡(luò)來逼近值函數(shù)，研究?jī)蓚€(gè)新的面向連續(xù)狀態(tài)的神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)算法，以增強(qiáng)強(qiáng)化學(xué)習(xí)面對(duì)連續(xù)狀態(tài)空間時(shí)的抽象和

2、泛化能力，提高強(qiáng)化學(xué)習(xí)在未來實(shí)際生產(chǎn)生活中的應(yīng)用能力。主要研究?jī)?nèi)容如下:
　　面對(duì)連續(xù)狀態(tài)空間，研究一種引入資格跡的RBF神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)算法。利用RBF網(wǎng)絡(luò)的泛化性能，來解決連續(xù)狀態(tài)空間下的函數(shù)逼近問題，同時(shí)通過在神經(jīng)網(wǎng)絡(luò)中引入資格跡，使每個(gè)節(jié)點(diǎn)的輸出只影響與其直接相關(guān)的權(quán)值，并保存影響。即在每次迭代過程中對(duì)全部被訪問過狀態(tài)-動(dòng)作對(duì)的函數(shù)Q值進(jìn)行更新。該算法策略在解決經(jīng)典強(qiáng)化學(xué)習(xí)面對(duì)連續(xù)狀態(tài)所遇到的瓶頸問題的同時(shí)，也減少了任務(wù)收

3、斂的時(shí)間，提高了算法效率。最后在Matlab上模擬小車爬山環(huán)境，驗(yàn)證了提出的一種面對(duì)連續(xù)狀態(tài)空間下基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法的有效性。
　　針對(duì)上述研究過程中資格跡在神經(jīng)網(wǎng)絡(luò)中具有提高權(quán)值更新效率的作用，繼續(xù)研究了強(qiáng)化學(xué)習(xí)與混合神經(jīng)網(wǎng)絡(luò)（ELM網(wǎng)絡(luò)和BP網(wǎng)絡(luò)）相結(jié)合的算法。算法采用的是Actor Critic架構(gòu)，運(yùn)用神經(jīng)網(wǎng)絡(luò)所具有的良好的泛化性能來逼近值函數(shù)以解決連續(xù)狀態(tài)空間問題。其中BP網(wǎng)絡(luò)構(gòu)成動(dòng)作網(wǎng)絡(luò)Actor，將狀態(tài)映射為