基于模型的動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)算法研究.pdf

1、強(qiáng)化學(xué)習(xí)因具有自學(xué)習(xí)和在線學(xué)習(xí)的良好特性，已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)重要分支。然而，智能體在大規(guī)模高維度的決策環(huán)境下進(jìn)行強(qiáng)化學(xué)習(xí)時(shí)被“維數(shù)災(zāi)難”(學(xué)習(xí)參數(shù)的個(gè)數(shù)隨變量的維數(shù)成指數(shù)級(jí)增長(zhǎng))所困擾，學(xué)習(xí)效率低下，導(dǎo)致難以及時(shí)甚至無(wú)法完成學(xué)習(xí)任務(wù)。因此，如果能有效緩解“維數(shù)災(zāi)難”，提出一種適用于未知大規(guī)模復(fù)雜環(huán)境下的高效率強(qiáng)化學(xué)習(xí)方法，則可以為提高智能體在實(shí)際應(yīng)用中的自適應(yīng)性提供有效的解決方案，對(duì)促進(jìn)機(jī)器學(xué)習(xí)領(lǐng)域理論和技術(shù)的發(fā)展具有重要意義。

2、
　　 因此，為了緩解未知大規(guī)模環(huán)境下的“維數(shù)災(zāi)難”問(wèn)題，提高學(xué)習(xí)效率，本文研究將動(dòng)態(tài)分層技術(shù)和基于模型的自學(xué)習(xí)技術(shù)相結(jié)合的方法，在基于模型的強(qiáng)化學(xué)習(xí)過(guò)程中，提出一種基于探索信息自適應(yīng)聚類的動(dòng)態(tài)分層強(qiáng)化學(xué)習(xí)算法。該算法動(dòng)態(tài)生成融合了狀態(tài)抽象和時(shí)態(tài)抽象(或稱動(dòng)作抽象)的MAXQ分層結(jié)構(gòu)，從而通過(guò)限制MAXQ中每個(gè)子任務(wù)的策略搜索空間而顯著加快了學(xué)習(xí)速度。
　　 首先，在基于模型的強(qiáng)化學(xué)習(xí)過(guò)程中，利用基于探索信息的自適應(yīng)聚類

3、算法將整個(gè)狀態(tài)空間劃分成若干個(gè)狀態(tài)子空間，即通過(guò)狀態(tài)抽象完成了任務(wù)的自動(dòng)分層，并基于狀態(tài)子空間的終止?fàn)顟B(tài)集，提出一種改進(jìn)的動(dòng)作選擇策略。其次，根據(jù)各動(dòng)作有效執(zhí)行的頻率情況進(jìn)行時(shí)態(tài)抽象自動(dòng)生成類似于MAXQ的分層結(jié)構(gòu)，進(jìn)而根據(jù)有效動(dòng)作集將各狀態(tài)子空間歸入到相應(yīng)的MAXQ子任務(wù)中，從而自動(dòng)生成融合了狀態(tài)抽象和時(shí)態(tài)抽象的MAXQ分層結(jié)構(gòu)。再次，基于該MAXQ分層框架搜索任務(wù)的遞歸最優(yōu)策略，并在以后的學(xué)習(xí)過(guò)程中動(dòng)態(tài)調(diào)整MAXQ結(jié)構(gòu)，以降低初次分