基于強(qiáng)化學(xué)習(xí)和QoS的遷移實(shí)例路徑規(guī)劃研究.pdf

1、Agent在人工智能領(lǐng)域中指能自主活動(dòng)的軟件或硬件實(shí)體，是一種具有自治性、反應(yīng)性、主動(dòng)性和社會(huì)性的智能體。隨著Internet應(yīng)用的不斷深入和計(jì)算機(jī)技術(shù)的快速發(fā)展，移動(dòng)Agent概念被提出并得到廣泛應(yīng)用。移動(dòng)Agent是一種特殊的Agent，移動(dòng)性是其最重要的特點(diǎn)，它可以通過(guò)網(wǎng)絡(luò)從一臺(tái)主機(jī)移動(dòng)到另一臺(tái)主機(jī)運(yùn)行，并根據(jù)需要生成具有相同性質(zhì)的子Agent。移動(dòng)Agent的特點(diǎn)還包括異構(gòu)和異步性、降低網(wǎng)絡(luò)通訊費(fèi)用、分布和并行性、智能化路由等。

2、
　　移動(dòng)Agent在分布式計(jì)算、信息檢索、電子商務(wù)等領(lǐng)域具有廣泛的應(yīng)用。移動(dòng)Agent可以將單個(gè)節(jié)點(diǎn)的任務(wù)分散到多個(gè)節(jié)點(diǎn)完成，減輕了單個(gè)節(jié)點(diǎn)的負(fù)擔(dān)并且提高了效率;移動(dòng)Agent可以代表用戶在Internet范圍內(nèi)搜索信息資源或服務(wù)。
　　將移動(dòng)Agent技術(shù)與工作流技術(shù)相結(jié)合可以得到基于移動(dòng)計(jì)算泛型的遷移工作流技術(shù)。遷移工作流實(shí)施是移動(dòng)Agent的一個(gè)重要應(yīng)用領(lǐng)域，在遷移工作流中的移動(dòng)Agent稱為遷移實(shí)例，可以實(shí)現(xiàn)業(yè)務(wù)流

3、程的全部或部分自動(dòng)化執(zhí)行。
　　遷移實(shí)例完成業(yè)務(wù)過(guò)程目標(biāo)的路徑規(guī)劃問(wèn)題是遷移工作流技術(shù)相關(guān)研究中的一個(gè)重要方向，也是提高工作流管理系統(tǒng)性能的關(guān)鍵。具有約束的遷移實(shí)例路徑規(guī)劃是整體業(yè)務(wù)過(guò)程具有約束條件的路徑規(guī)劃問(wèn)題，遷移實(shí)例選擇的工作位置需要滿足給定的約束條件。
　　遷移實(shí)例路徑規(guī)劃方法可分為靜態(tài)規(guī)劃和動(dòng)態(tài)規(guī)劃兩大類，靜態(tài)規(guī)劃需要完全確定的環(huán)境模型，并且在遷移實(shí)例出發(fā)之前就為其確定了遷移路徑。在不確定的環(huán)境模型中，遷移實(shí)例需要

4、采用動(dòng)態(tài)規(guī)劃的方法規(guī)劃遷移路徑。
　　本文以遷移工作流模型中遷移實(shí)例的動(dòng)態(tài)路徑規(guī)劃方法為主要研究?jī)?nèi)容，首先提出了不確定工作位置網(wǎng)絡(luò)環(huán)境中基于強(qiáng)化學(xué)習(xí)的遷移實(shí)例動(dòng)態(tài)路徑規(guī)劃方法，遷移實(shí)例在遷移決策時(shí)通過(guò)Q學(xué)習(xí)的在線學(xué)習(xí)方式來(lái)獲取環(huán)境信息，并根據(jù)學(xué)習(xí)結(jié)果規(guī)劃遷移路徑。鑒于遷移實(shí)例路徑規(guī)劃問(wèn)題就是不斷選取工作位置并利用其提供的服務(wù)完成任務(wù)序列的過(guò)程，也就是工作位置服務(wù)選擇的過(guò)程，本文將遷移實(shí)例路徑規(guī)劃問(wèn)題看作工作位置服務(wù)選擇問(wèn)題，工作位