基于人機交互的強化學(xué)習(xí)理論與應(yīng)用.pdf

1、本文在對現(xiàn)有智能學(xué)習(xí)算法進行詳細綜述的基礎(chǔ)上,提出了基于人機交互的強化學(xué)習(xí)算法,即把人機交互加入到強化學(xué)習(xí)中,從而促進和提高復(fù)雜任務(wù)學(xué)習(xí)的有效性和快速性,來解決不確定環(huán)境下,面向任務(wù)的智能信息處理、分析和優(yōu)化問題.具體研究工作包括以下幾個方面:(1)在對強化學(xué)習(xí)理論結(jié)構(gòu)進行詳細分析介紹的基礎(chǔ)上,提出一種能夠結(jié)合專家知識的人機交互強化學(xué)習(xí)理論結(jié)構(gòu),使系統(tǒng)獲得當前狀態(tài)與目標狀態(tài)之間的距離度量,利用人對任務(wù)的理解和對學(xué)習(xí)過程的監(jiān)控,給智能系統(tǒng)

2、的學(xué)習(xí)過程以恰當?shù)脑u價,為搜索指明方向,減少搜索范圍,降低學(xué)習(xí)復(fù)雜度,解決了標準強化學(xué)習(xí)計算復(fù)雜度依賴狀態(tài)行為空間大小的缺點.(2)本文提出了基于強化學(xué)習(xí)的特征學(xué)習(xí)算法,并與mean shift算法相結(jié)合以實現(xiàn)給定的跟蹤任務(wù).特征學(xué)習(xí)過程被描述為與不確定視覺環(huán)境進行交互的序列決策過程,使系統(tǒng)在考慮視覺環(huán)境分布的情況下,能夠不斷地在線評價和學(xué)習(xí)特征集,在線學(xué)習(xí)自適應(yīng)的高判別力期望特征集,這也是本文優(yōu)于目前大多數(shù)特征選擇方法的地方.同時,為

3、了降低計算復(fù)雜度、提高特征學(xué)習(xí)過程的收斂速度,本文在特征學(xué)習(xí)的結(jié)構(gòu)中進一步引入人機交互,這種交互式的特征學(xué)習(xí)結(jié)構(gòu)能夠直接獲得操作者對特征選擇行為評價的反饋信息,使系統(tǒng)獲得當前特征集與期望特征集之間的距離度量,有效地結(jié)合操作者的先驗知識和專業(yè)知識,大大簡化特征學(xué)習(xí)過程.(3)本文把基于人機交互的強化學(xué)習(xí)與相關(guān)反饋技術(shù)相結(jié)合,系統(tǒng)通過與圖像數(shù)據(jù)庫進行交互,在線學(xué)習(xí)選擇面向任務(wù)的期望特征集策略,建立圖像檢索任務(wù)與期望特征集的對應(yīng)關(guān)系,并構(gòu)成專

4、家知識庫,以解決強化學(xué)習(xí)性能依賴初始狀態(tài)的問題.(4)應(yīng)用強化學(xué)習(xí)理論構(gòu)造了一種通用的面向任務(wù)的分級視覺學(xué)習(xí)體系結(jié)構(gòu),突破以往的人工視覺研究主要集中在低級視覺信息處理上的局限,而在高級視覺學(xué)習(xí)模型與低級視覺信息處理的互動方面做深入研究.此通用體系結(jié)構(gòu)能夠把外部的視覺感知與內(nèi)部的認知過程和行為決策密切結(jié)合,使系統(tǒng)動態(tài)地組織圖像處理過程及學(xué)習(xí)最優(yōu)控制策略,通過"知識"只處理與任務(wù)相關(guān)的數(shù)據(jù),以有效地減少視覺計算量.從而構(gòu)成一個閉環(huán)的學(xué)習(xí)系統(tǒng)