基于平均型強(qiáng)化學(xué)習(xí)算法的動(dòng)態(tài)調(diào)度方法的研究.pdf

1、論文主要研究了基于平均型強(qiáng)化學(xué)習(xí)算法的動(dòng)態(tài)調(diào)度方法。 實(shí)際的動(dòng)態(tài)調(diào)度問題往往呈現(xiàn)出很大的復(fù)雜性：動(dòng)態(tài)調(diào)度是一類信息不完全的調(diào)度，在環(huán)境不確定和擾動(dòng)因素的影響下，需要不斷的改變調(diào)度策略，是調(diào)度策略優(yōu)化的過程；動(dòng)態(tài)調(diào)度通常是對(duì)多約束下多目標(biāo)的綜合考慮；動(dòng)態(tài)調(diào)度處理的問題常常帶有隨機(jī)性。解決動(dòng)態(tài)調(diào)度的方法也有很多，因此論文首先對(duì)解決動(dòng)態(tài)調(diào)度問題的方法進(jìn)行了歸納總結(jié)，大致分為基于運(yùn)籌學(xué)理論的傳統(tǒng)調(diào)度方法和基于人工智能的智能調(diào)度方法。強(qiáng)化

2、學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一種，它組合了動(dòng)態(tài)規(guī)劃、隨機(jī)逼近和函數(shù)逼近的思想，智能體學(xué)習(xí)從環(huán)境到行為的映射，以使獎(jiǎng)勵(lì)信號(hào)函數(shù)值最大。因?yàn)閺?qiáng)化學(xué)習(xí)與以往調(diào)度方法相比，無需建立精確的問題模型，也有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，很適合解決動(dòng)態(tài)調(diào)度問題，因此論文把基于強(qiáng)化學(xué)習(xí)的調(diào)度方法特地歸為一類。 目前有多種強(qiáng)化學(xué)習(xí)算法，各算法性能存在著差異，在各算法中也有相應(yīng)的參數(shù)，這些參數(shù)對(duì)算法有著重要的影響。因此在將強(qiáng)化學(xué)習(xí)算法應(yīng)用于具體的實(shí)際調(diào)度問題前，應(yīng)首先對(duì)學(xué)

3、習(xí)算法本身做深入的研究。論文針對(duì)一個(gè)比較典型的強(qiáng)化學(xué)習(xí)算法實(shí)驗(yàn)環(huán)境Grid-World，采用面向?qū)ο蟮乃枷牒图夹g(shù)用Visual C++6.0搭建可視化的仿真軟件。在該環(huán)境中，強(qiáng)化學(xué)習(xí)算法單元暴露固定的算法函數(shù)接口，對(duì)平均型算法R學(xué)習(xí)、折扣型算法Q學(xué)習(xí)、Sarsa 學(xué)習(xí)編制動(dòng)態(tài)鏈接庫形式的算法，形成多種強(qiáng)化學(xué)習(xí)的算法包，針對(duì)參數(shù)對(duì)強(qiáng)化學(xué)習(xí)算法性能的影響進(jìn)行仿真實(shí)驗(yàn)分析，并比較不同的強(qiáng)化學(xué)習(xí)算法性能的差異。該軟件的搭建與得出的關(guān)于強(qiáng)化學(xué)習(xí)算

4、法的定性結(jié)論為后續(xù)的研究打下基礎(chǔ)。 論文的最后針對(duì)一個(gè)實(shí)際的復(fù)雜動(dòng)態(tài)調(diào)度系統(tǒng)——電梯群組調(diào)度，采用基于平均型強(qiáng)化學(xué)習(xí)R學(xué)習(xí)算法來進(jìn)行仿真實(shí)驗(yàn)。分析電梯群組調(diào)度問題的特點(diǎn)，把它抽象為平均型的馬氏決策過程，定義對(duì)應(yīng)于平均型強(qiáng)化學(xué)習(xí)算法中的狀態(tài)、行為、報(bào)酬等元素，采用隨機(jī)選擇策略防止求解陷入局部最優(yōu)，應(yīng)用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)解決行為值函數(shù)的存儲(chǔ)和泛化問題，使基于平均型的強(qiáng)化學(xué)習(xí)算法順利應(yīng)用于電梯群組調(diào)度。結(jié)合電梯群控仿真環(huán)境進(jìn)行調(diào)度算法