基于自適應(yīng)評(píng)價(jià)者設(shè)計(jì)方法的學(xué)習(xí)控制研究.pdf

1、 本論文研究基于ACD方法的學(xué)習(xí)控制，著重研究在不同已知程度的模型信息條件下，如何保證ACD方法的控制性能。本論文工作主要按照無模型信息、模型信息部分已知和模型信息完全已知三種情況分別展開?！≡跓o模型信息的情況下，主要研究ACD方法中的TD強(qiáng)化學(xué)習(xí)方法。TD強(qiáng)化學(xué)習(xí)方法結(jié)合了動(dòng)態(tài)規(guī)劃和Monte-Carlo方法，可以不需要對(duì)象模型而通過與對(duì)象的直接交互學(xué)習(xí)到最優(yōu)策略。但是標(biāo)準(zhǔn)的TD強(qiáng)化學(xué)習(xí)方法只針對(duì)于狀態(tài)空間離散的情況，要應(yīng)用于狀態(tài)

2、空間連續(xù)的情況，需要解決連續(xù)狀態(tài)空間的表示問題。本論文研究了使用狀態(tài)聚類方法對(duì)連續(xù)空間進(jìn)行自適應(yīng)離散化，將其映射到離散狀態(tài)空間。利用K-均值聚類方法根據(jù)數(shù)據(jù)分布自動(dòng)調(diào)整聚類中心的能力，將其與TD強(qiáng)化學(xué)習(xí)方法相結(jié)合，就得到了兩種基于狀態(tài)聚類的連續(xù)TD強(qiáng)化學(xué)習(xí)方法。 對(duì)于模型信息部分已知的情況，本論文還提出了一種反饋ACD方法。該方法針對(duì)一類特定的非線性系統(tǒng)，利用反饋控制思想直接計(jì)算評(píng)價(jià)者參數(shù)，而只有動(dòng)作網(wǎng)絡(luò)需要訓(xùn)練。通過Lyapuno