基于逆向強化學習的報酬函數(shù)構(gòu)建.pdf

1、近幾年來,強化學習和學徒學習作為機器學習的兩個子領(lǐng)域得到了極大的發(fā)展。在目前的強化學習技術(shù)中,報酬函數(shù)的自動構(gòu)建是迫切需要解決的問題。對于學徒學習,首先要構(gòu)建出專家的報酬函數(shù)才能從專家的演示軌跡中得到專家的控制策略。本論文的研究內(nèi)容是報酬函數(shù)的自動構(gòu)建問題,該問題被稱為逆向強化學習問題。逆向強化學習的思想是在一個馬爾可夫決策過程問題中,觀察專家在其中的行為軌跡,并依據(jù)該專家軌跡還原或近似“還原”與其對應(yīng)的專家報酬函數(shù),解決了一些環(huán)境中不

2、能具體描述報酬函數(shù)的問題。
　　本文的研究內(nèi)容分為兩個方面。一方面將基于靈敏度的學習優(yōu)化問題的思想與標準逆向強化學習相結(jié)合,得到一種基于靈敏度的逆向強化學習分析框架。該分析框架將報酬函數(shù)僅與狀態(tài)有關(guān)的基本逆向強化學習推廣到報酬函數(shù)不僅與狀態(tài)有關(guān)而且與行動有關(guān)的情況。另一方面將逆向強化學習算法分為兩大類,并對這兩類方法加以比較。一類是在值函數(shù)空間內(nèi)的方法,另一類是在策略空間內(nèi)的方法,其中在值函數(shù)空間內(nèi)的方法包括基于最大邊際的逆向強化