基于模型的動態(tài)分層強化學(xué)習(xí)算法研究.pdf

1、強化學(xué)習(xí)因具有自學(xué)習(xí)和在線學(xué)習(xí)的良好特性，已經(jīng)成為機器學(xué)習(xí)領(lǐng)域的一個重要分支。然而，智能體在大規(guī)模高維度的決策環(huán)境下進(jìn)行強化學(xué)習(xí)時被“維數(shù)災(zāi)難”(學(xué)習(xí)參數(shù)的個數(shù)隨變量的維數(shù)成指數(shù)級增長)所困擾，學(xué)習(xí)效率低下，導(dǎo)致難以及時甚至無法完成學(xué)習(xí)任務(wù)。因此，如果能有效緩解“維數(shù)災(zāi)難”，提出一種適用于未知大規(guī)模復(fù)雜環(huán)境下的高效率強化學(xué)習(xí)方法，則可以為提高智能體在實際應(yīng)用中的自適應(yīng)性提供有效的解決方案，對促進(jìn)機器學(xué)習(xí)領(lǐng)域理論和技術(shù)的發(fā)展具有重要意義。

2、
　　 因此，為了緩解未知大規(guī)模環(huán)境下的“維數(shù)災(zāi)難”問題，提高學(xué)習(xí)效率，本文研究將動態(tài)分層技術(shù)和基于模型的自學(xué)習(xí)技術(shù)相結(jié)合的方法，在基于模型的強化學(xué)習(xí)過程中，提出一種基于探索信息自適應(yīng)聚類的動態(tài)分層強化學(xué)習(xí)算法。該算法動態(tài)生成融合了狀態(tài)抽象和時態(tài)抽象(或稱動作抽象)的MAXQ分層結(jié)構(gòu)，從而通過限制MAXQ中每個子任務(wù)的策略搜索空間而顯著加快了學(xué)習(xí)速度。
　　 首先，在基于模型的強化學(xué)習(xí)過程中，利用基于探索信息的自適應(yīng)聚類

3、算法將整個狀態(tài)空間劃分成若干個狀態(tài)子空間，即通過狀態(tài)抽象完成了任務(wù)的自動分層，并基于狀態(tài)子空間的終止?fàn)顟B(tài)集，提出一種改進(jìn)的動作選擇策略。其次，根據(jù)各動作有效執(zhí)行的頻率情況進(jìn)行時態(tài)抽象自動生成類似于MAXQ的分層結(jié)構(gòu)，進(jìn)而根據(jù)有效動作集將各狀態(tài)子空間歸入到相應(yīng)的MAXQ子任務(wù)中，從而自動生成融合了狀態(tài)抽象和時態(tài)抽象的MAXQ分層結(jié)構(gòu)。再次，基于該MAXQ分層框架搜索任務(wù)的遞歸最優(yōu)策略，并在以后的學(xué)習(xí)過程中動態(tài)調(diào)整MAXQ結(jié)構(gòu)，以降低初次分