模型無關(guān)的貝葉斯強(qiáng)化學(xué)習(xí)方法研究.pdf

1、強(qiáng)化學(xué)習(xí)是一類重要的機(jī)器學(xué)習(xí)方法,強(qiáng)化學(xué)習(xí)具有兩個(gè)重要的特征:算法可以在不知道環(huán)境的全部模型時(shí),求解模型未知的最優(yōu)化問題;強(qiáng)化學(xué)習(xí)強(qiáng)調(diào)Agent與環(huán)境的在線交互,在交互過程中對數(shù)據(jù)進(jìn)行累積學(xué)習(xí),以達(dá)到在線求解最優(yōu)策略的目的。因此,強(qiáng)化學(xué)習(xí)方法被越來越多地用于作業(yè)優(yōu)化調(diào)度、在線學(xué)習(xí)控制、游戲等領(lǐng)域。針對于強(qiáng)化學(xué)習(xí)方法存在的“維數(shù)災(zāi)難”、收斂速度慢、收斂精度低等問題,本文以模型無關(guān)的貝葉斯強(qiáng)化學(xué)習(xí)為出發(fā)點(diǎn),提出了幾種模型無關(guān)的貝葉斯強(qiáng)化學(xué)習(xí)

2、算法,主要研究概括為以下3個(gè)方面。
　　(1)針對貝葉斯Q學(xué)習(xí)存在收斂速度慢且收斂精度低的問題,提出一種基于優(yōu)先級(jí)掃描Dyna結(jié)構(gòu)的貝葉斯Q學(xué)習(xí)方法。該方法主要分為2部分:學(xué)習(xí)部分和規(guī)劃部分。基于學(xué)習(xí)部分建立的模型,規(guī)劃部分使用優(yōu)先級(jí)掃描方法和動(dòng)態(tài)規(guī)劃方法對動(dòng)作值函數(shù)進(jìn)行規(guī)劃更新。從理論上分析了算法的收斂性,并通過實(shí)驗(yàn)表明該方法能較好地平衡探索與利用,且具有較優(yōu)的收斂速度及收斂精度。
　　(2)針對狀態(tài)空間中的有效樣本選擇問

3、題,在高斯過程時(shí)間差分算法框架下,提出一種基于隨機(jī)投影的高斯過程時(shí)間差分算法。利用哈希函數(shù)把狀態(tài)集合中的元素映射成哈希值,根據(jù)哈希值分組,來減少狀態(tài)之間的比較。實(shí)驗(yàn)結(jié)果表明該方法能夠提高算法的執(zhí)行速度,且在評估狀態(tài)值函數(shù)精度和算法執(zhí)行時(shí)間上有較好地平衡。
　　(3)針對蒙特卡洛方法對梯度的估計(jì)易導(dǎo)致高方差,初始性能不夠穩(wěn)定的問題,提出一種基于狀態(tài)依賴探索的貝葉斯策略梯度算法。將策略梯度模型化為一個(gè)高斯過程,利用貝葉斯積分方法來評估