逆向增強(qiáng)學(xué)習(xí)和示教學(xué)習(xí)算法研究及其在智能機(jī)器人中的應(yīng)用.pdf

1、近幾十年來(lái)，示教學(xué)習(xí)一直是機(jī)器人研究領(lǐng)域中極富挑戰(zhàn)性的研究課題之一。在示教學(xué)習(xí)中，直接估計(jì)狀態(tài)-動(dòng)作映射往往無(wú)法考慮長(zhǎng)期性影響。因此，研究者傾向于將示教學(xué)習(xí)過(guò)程分為估計(jì)環(huán)境參數(shù)和求解最優(yōu)控制器兩個(gè)步驟，間接地逼近示教策略。在若干環(huán)境參數(shù)表達(dá)方法中，回報(bào)函數(shù)具有泛化能力強(qiáng)、遷移性好和所需調(diào)節(jié)參數(shù)少等優(yōu)點(diǎn)。目前，基于回報(bào)函數(shù)估計(jì)的示教學(xué)習(xí)正成為示教學(xué)習(xí)中應(yīng)用最廣泛的方法之一?；貓?bào)函數(shù)的估計(jì)，又稱為逆向增強(qiáng)學(xué)習(xí)，是指給定智能體行為、狀態(tài)和環(huán)境

2、動(dòng)態(tài)模型，在馬爾可夫決策過(guò)程模型中求解回報(bào)函數(shù)的問(wèn)題。但是，基于回報(bào)函數(shù)估計(jì)的示教學(xué)習(xí)當(dāng)前還存在幾個(gè)需要解決的問(wèn)題：(1)回報(bào)函數(shù)的估計(jì)過(guò)程無(wú)法序貫進(jìn)行。(2)回報(bào)函數(shù)的學(xué)習(xí)結(jié)果只能提供點(diǎn)估計(jì)信息。(3)回報(bào)函數(shù)估計(jì)的性能對(duì)示教噪聲敏感。針對(duì)上述問(wèn)題，本文嘗試在序貫估計(jì)和貝葉斯框架下對(duì)逆向增強(qiáng)學(xué)習(xí)問(wèn)題進(jìn)行了理論研究。
　　 首先，本文從最大邊際原則和約束一致性原則兩個(gè)方面研究了序貫化逆向增強(qiáng)學(xué)習(xí)算法，從而為逆向增強(qiáng)學(xué)習(xí)的序貫算法

3、研究提供了理論支持?；谧畲筮呺H原則，本文提出了增量式逆向增強(qiáng)學(xué)習(xí)方法。該方法將學(xué)習(xí)建模為二項(xiàng)分類問(wèn)題，然后通過(guò)擬可加序貫學(xué)習(xí)框架的思想進(jìn)行回報(bào)函數(shù)的序貫重估計(jì)。算法以序列化的方式處理依次到來(lái)的觀察數(shù)據(jù)?；诩s束一致性原則，本文提出了松弛投影逆向增強(qiáng)學(xué)習(xí)方法。本方法將回報(bào)函數(shù)的學(xué)習(xí)問(wèn)題建模為具有非線性約束的可行區(qū)域問(wèn)題。其主要思想是通過(guò)松弛投影算法序列化地將回報(bào)函數(shù)估計(jì)值對(duì)特定約束平面進(jìn)行松弛投影。本方法避免了在回報(bào)函數(shù)估計(jì)過(guò)程中調(diào)用耗

4、時(shí)的增強(qiáng)學(xué)習(xí)子過(guò)程。為了減少計(jì)算量，本文還討論了約束約減方法。另外本文分別對(duì)上述兩種方法進(jìn)行了收斂性質(zhì)的分析。
　　 其次，為了解決當(dāng)前算法中對(duì)回報(bào)函數(shù)僅進(jìn)行點(diǎn)估計(jì)的局限性，本文在貝葉斯框架下將回報(bào)函數(shù)擴(kuò)展到連續(xù)空間的分布形式并對(duì)回報(bào)函數(shù)進(jìn)行分布估計(jì)。首先，本文基于貝葉斯框架引入了核方法，提出了基于高斯過(guò)程的回報(bào)函數(shù)建模方法。通過(guò)回報(bào)函數(shù)的高斯過(guò)程建模，本文將已有的逆向增強(qiáng)學(xué)習(xí)方法進(jìn)行了擴(kuò)展，提出了基于高斯過(guò)程的逆向增強(qiáng)學(xué)習(xí)算法

5、。該算法不僅給出了回報(bào)函數(shù)估計(jì)值的置信度信息，還通過(guò)核方法定義了學(xué)習(xí)特征。這些性質(zhì)提高了基于逆向增強(qiáng)學(xué)習(xí)的示教學(xué)習(xí)在應(yīng)用中的實(shí)用性。
　　 然后，針對(duì)基于逆向增強(qiáng)學(xué)習(xí)的示教學(xué)習(xí)中示教策略存在噪聲的問(wèn)題，本文提出了基于貝葉斯logistic回歸和變分近似方法的逆向增強(qiáng)學(xué)習(xí)算法。其主要思想是通過(guò)示教軌跡構(gòu)造示教樣本集將逆向增強(qiáng)學(xué)習(xí)的分類問(wèn)題建模為貝葉斯logistic回歸問(wèn)題。變分貝葉斯方法被用來(lái)對(duì)后驗(yàn)分布進(jìn)行近似求解。貝葉斯log

6、istic回歸方法對(duì)數(shù)據(jù)的抗噪特點(diǎn)為本算法帶來(lái)了良好的對(duì)示教數(shù)據(jù)的魯棒性。
　　 最后，本文討論了逆向增強(qiáng)學(xué)習(xí)方法在智能機(jī)器人行為樣本評(píng)測(cè)問(wèn)題中的應(yīng)用。針對(duì)地面自主機(jī)器人評(píng)測(cè)系統(tǒng)中評(píng)測(cè)標(biāo)準(zhǔn)難以定義的問(wèn)題，本文提出了一種基于傾向性分析的智能系統(tǒng)評(píng)測(cè)方法。該方法首先采用了基于主元分析法的特征提取方法對(duì)地面自主機(jī)器人行為樣本數(shù)據(jù)進(jìn)行了預(yù)處理，然后利用逆向增強(qiáng)學(xué)習(xí)算法、策略不變條件下的回報(bào)函數(shù)變形定理和線性子空間距離定義得到地面自主機(jī)器