面向連續(xù)狀態(tài)的神經(jīng)網(wǎng)絡(luò)強化學(xué)習(xí)研究.pdf

1、強化學(xué)習(xí)在人工智能領(lǐng)域包括工業(yè)生產(chǎn)、電梯調(diào)度、路徑規(guī)劃方面越多的得到運用，可以用來解決隨機性或不確定性動態(tài)系統(tǒng)最優(yōu)化這些決策類問題，而這些問題大多是具有連續(xù)狀態(tài)空間的，所以用一般基于值表法的強化學(xué)習(xí)算法很難解決。而神經(jīng)網(wǎng)絡(luò)的有效的泛化能力和抽象能力可以加入到強化學(xué)習(xí)中，來解決上述問題。本論文基于已有的強化學(xué)習(xí)算法，用含有資格跡的神經(jīng)網(wǎng)絡(luò)來逼近值函數(shù)，研究兩個新的面向連續(xù)狀態(tài)的神經(jīng)網(wǎng)絡(luò)強化學(xué)習(xí)算法，以增強強化學(xué)習(xí)面對連續(xù)狀態(tài)空間時的抽象和

2、泛化能力，提高強化學(xué)習(xí)在未來實際生產(chǎn)生活中的應(yīng)用能力。主要研究內(nèi)容如下:
　　面對連續(xù)狀態(tài)空間，研究一種引入資格跡的RBF神經(jīng)網(wǎng)絡(luò)強化學(xué)習(xí)算法。利用RBF網(wǎng)絡(luò)的泛化性能，來解決連續(xù)狀態(tài)空間下的函數(shù)逼近問題，同時通過在神經(jīng)網(wǎng)絡(luò)中引入資格跡，使每個節(jié)點的輸出只影響與其直接相關(guān)的權(quán)值，并保存影響。即在每次迭代過程中對全部被訪問過狀態(tài)-動作對的函數(shù)Q值進行更新。該算法策略在解決經(jīng)典強化學(xué)習(xí)面對連續(xù)狀態(tài)所遇到的瓶頸問題的同時，也減少了任務(wù)收

3、斂的時間，提高了算法效率。最后在Matlab上模擬小車爬山環(huán)境，驗證了提出的一種面對連續(xù)狀態(tài)空間下基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)算法的有效性。
　　針對上述研究過程中資格跡在神經(jīng)網(wǎng)絡(luò)中具有提高權(quán)值更新效率的作用，繼續(xù)研究了強化學(xué)習(xí)與混合神經(jīng)網(wǎng)絡(luò)（ELM網(wǎng)絡(luò)和BP網(wǎng)絡(luò)）相結(jié)合的算法。算法采用的是Actor Critic架構(gòu)，運用神經(jīng)網(wǎng)絡(luò)所具有的良好的泛化性能來逼近值函數(shù)以解決連續(xù)狀態(tài)空間問題。其中BP網(wǎng)絡(luò)構(gòu)成動作網(wǎng)絡(luò)Actor，將狀態(tài)映射為