基于強化學習和QoS的遷移實例路徑規(guī)劃研究.pdf

1、Agent在人工智能領域中指能自主活動的軟件或硬件實體，是一種具有自治性、反應性、主動性和社會性的智能體。隨著Internet應用的不斷深入和計算機技術(shù)的快速發(fā)展，移動Agent概念被提出并得到廣泛應用。移動Agent是一種特殊的Agent，移動性是其最重要的特點，它可以通過網(wǎng)絡從一臺主機移動到另一臺主機運行，并根據(jù)需要生成具有相同性質(zhì)的子Agent。移動Agent的特點還包括異構(gòu)和異步性、降低網(wǎng)絡通訊費用、分布和并行性、智能化路由等。

2、
　　移動Agent在分布式計算、信息檢索、電子商務等領域具有廣泛的應用。移動Agent可以將單個節(jié)點的任務分散到多個節(jié)點完成，減輕了單個節(jié)點的負擔并且提高了效率;移動Agent可以代表用戶在Internet范圍內(nèi)搜索信息資源或服務。
　　將移動Agent技術(shù)與工作流技術(shù)相結(jié)合可以得到基于移動計算泛型的遷移工作流技術(shù)。遷移工作流實施是移動Agent的一個重要應用領域，在遷移工作流中的移動Agent稱為遷移實例，可以實現(xiàn)業(yè)務流

3、程的全部或部分自動化執(zhí)行。
　　遷移實例完成業(yè)務過程目標的路徑規(guī)劃問題是遷移工作流技術(shù)相關(guān)研究中的一個重要方向，也是提高工作流管理系統(tǒng)性能的關(guān)鍵。具有約束的遷移實例路徑規(guī)劃是整體業(yè)務過程具有約束條件的路徑規(guī)劃問題，遷移實例選擇的工作位置需要滿足給定的約束條件。
　　遷移實例路徑規(guī)劃方法可分為靜態(tài)規(guī)劃和動態(tài)規(guī)劃兩大類，靜態(tài)規(guī)劃需要完全確定的環(huán)境模型，并且在遷移實例出發(fā)之前就為其確定了遷移路徑。在不確定的環(huán)境模型中，遷移實例需要

4、采用動態(tài)規(guī)劃的方法規(guī)劃遷移路徑。
　　本文以遷移工作流模型中遷移實例的動態(tài)路徑規(guī)劃方法為主要研究內(nèi)容，首先提出了不確定工作位置網(wǎng)絡環(huán)境中基于強化學習的遷移實例動態(tài)路徑規(guī)劃方法，遷移實例在遷移決策時通過Q學習的在線學習方式來獲取環(huán)境信息，并根據(jù)學習結(jié)果規(guī)劃遷移路徑。鑒于遷移實例路徑規(guī)劃問題就是不斷選取工作位置并利用其提供的服務完成任務序列的過程，也就是工作位置服務選擇的過程，本文將遷移實例路徑規(guī)劃問題看作工作位置服務選擇問題，工作位