最小二乘策略迭代算法研究.pdf

1、強(qiáng)化學(xué)習(xí)是一種通過與環(huán)境的交互,將狀態(tài)映射到動作,以獲取最大累積獎賞的機(jī)器學(xué)習(xí)方法。在大規(guī)模和連續(xù)狀態(tài)或動作空間強(qiáng)化學(xué)習(xí)問題中,通過使用函數(shù)逼近方法擬合策略形成了近似強(qiáng)化學(xué)習(xí)方法。最小二乘策略迭代是一類前沿的近似強(qiáng)化學(xué)習(xí)方法,其最小二乘逼近可以從樣本中獲取更多有效信息,并可以應(yīng)用到在線算法中。本文著眼于在線最小二乘策略迭代算法,對其進(jìn)行了以下幾方面的擴(kuò)展,提出了相應(yīng)的算法:
　　(1)針對在線最小二乘策略迭代算法對樣本數(shù)據(jù)利用不充

2、分、每個(gè)樣本僅使用一次就被丟棄的問題,提出一種批量最小二乘策略迭代(BLSPI)算法。該算法在線保存生成的樣本數(shù)據(jù),多次重復(fù)使用這些樣本數(shù)據(jù)以更新控制策略,可以有效利用之前的經(jīng)驗(yàn)知識,提高經(jīng)驗(yàn)利用率,加快收斂速度。
　　(2)針對最小二乘策略評估(LSPE)算法中步長參數(shù)固定或形式單一、缺乏自動性的問題,提出一種自動批量最小二乘策略迭代(ABLSPI)算法。該算法結(jié)合定點(diǎn)步長參數(shù)評估方法,高效地利用樣本數(shù)據(jù)和策略動態(tài)調(diào)整步長參數(shù),