基于Option自動生成的分層強化學(xué)習(xí)方法研究.pdf

1、強化學(xué)習(xí)通過試錯與環(huán)境交互而獲得策略的改進，其自學(xué)習(xí)和在線學(xué)習(xí)的特點使其在實際中獲得了越來越廣泛的應(yīng)用。但是，強化學(xué)習(xí)一直被“維數(shù)災(zāi)難”所困擾。分層強化學(xué)習(xí)(HRL)是為解決強化學(xué)習(xí)的維數(shù)災(zāi)問題而提出的，并取得了顯著進展。分層強化學(xué)習(xí)的實質(zhì)是通過在強化學(xué)習(xí)的基礎(chǔ)上增加“抽象”機制，把整體任務(wù)分解為不同層次上的子任務(wù)，使每個子任務(wù)在規(guī)模較小的子問題空間中求解，并且求得的子任務(wù)策略可以復(fù)用，從而加快問題的求解速度。代表性成果有Option、

2、HAM和MAXQ等方法。 本文探討一種新的分層強化學(xué)習(xí)方法-AOM，并深入研究該算法所涉及的理論和計算問題，以及該方法在實際應(yīng)用中需要解決的問題。具體圍繞以下兩個方面工作展開： (1)設(shè)計了AOM分層強化學(xué)習(xí)方法，給出了理論框架和學(xué)習(xí)算法。該方法基于蟻群聚類算法(ACCA)自動生成Option分層，并利用了MAXQ良好的在線學(xué)習(xí)能力。實驗結(jié)果證明了AOM學(xué)習(xí)方法的有效性； (2)提出了基于ACCA的AOM任務(wù)自動