交互式動態(tài)影響圖的建模及優(yōu)化算法研究.pdf

1、隨著Agent技術(shù)在工業(yè)、交通、國防、軍事、商務(wù)等領(lǐng)域日益廣泛的應(yīng)用和深入的發(fā)展，基于單Agent和多Agent的決策問題日益復(fù)雜多樣，一系列復(fù)雜的大規(guī)模動態(tài)決策問題日益突出，因此，迫切需要一種更加有效解決多Agent決策問題的理論、方法和模型，以期提高Agent決策的智能水平和決策響應(yīng)速度。
　　 影響圖(IDs)方法是一種利用有向圖構(gòu)造決策問題的概率模型和數(shù)量計算框架的統(tǒng)計決策技術(shù)。其后產(chǎn)生的動態(tài)影響圖(DIDs)技術(shù)是在動

2、態(tài)貝葉斯網(wǎng)絡(luò)(DBNs)和影響圖的基礎(chǔ)上提出一種模型，它可以用來建模不確定環(huán)境下的Agent動態(tài)決策問題，以降低動態(tài)決策問題的復(fù)雜性。目前國際上的新課題與新挑戰(zhàn)是交互式動態(tài)影響圖(I-DIDs)，其圖形表述和模型求解尤為引人矚目。目前的I-DIDs主要通過對其他Agent模型的猜測和識別來推斷其可能的決策，這存在著主觀性和不確定性，從而導(dǎo)致模型效用降低，求解困難，并局限于解決2個Agent的決策問題。
　　 本文在前期工作的基礎(chǔ)

3、上，應(yīng)用部分可觀測馬爾可夫決策過程性質(zhì)、最大獎勵期望值原理和行為等價原理(BE)，提出新的模型求解方法，降低計算難度，確保模型解的最優(yōu)性;根據(jù)概率圖模型理論、貝葉斯參數(shù)學(xué)習(xí)方法等嘗試面向多個Agent進(jìn)行建模和模型求解;在一般典型問題（譬如多Agent老虎問題和多AgentUAV問題）上對上述新方法進(jìn)行驗證。主要研究內(nèi)容有:
　　 (1)提出利用部分策略識別行為等價模型的方法
　　 提出一種用于識別Agent模型是否行為

4、等價（精確或近似）的新方法。在多Agent環(huán)境中，無論決策還是博弈都必須考慮其他Agent的行為模型以預(yù)測他們的動作。一種用于降低其他Agent行為模型空間復(fù)雜度的方法是組合行為等價的模型，判定模型行為等價需要求解模型并比較整個策略樹。由于策略樹隨時間推移指數(shù)增長，整個策略樹的比較計算量很大，新方法對部分決策樹進(jìn)行比較，并確定策略樹葉子節(jié)點信度更新后的距離不大，通過交互動態(tài)影響圖(I-DIDs)來檢查和評價方法的性能。
　　 (

5、2)提出利用增量式策略識別行為等價模型的方法
　　 提出用部分策略樹聚類近似行為等價模型的改進(jìn)方法，允許部分策略樹中分支對比在沒有到達(dá)需考慮的分支最大長度時中止，這樣每個分支中止的長度不同，因而可能產(chǎn)生一個不對稱的部分策略樹以聚類更多的近似行為等價模型。新方法可以節(jié)省更多的存儲空間，可以解決更大時間片的多Agent問題域。
　　 (3)多Agent交互式動態(tài)影響圖的建模與求解
　　 在交互動態(tài)影響圖中，決策Age

6、nt常常需要求解其他Agent的行為模型以預(yù)測他們的行為，但是目前考慮的其他Agent只有一個，這顯然不能滿足大規(guī)模復(fù)雜問題的決策需求。本文將需考慮的其他Agent推廣到多個，研究他們之間的關(guān)系，建立面向多Agent的交互式動態(tài)影響圖模型(I-MADIDs)，并探討了如果兩個非建模Agent之間存在穩(wěn)定關(guān)系時，如何簡化I-MADIDs模型。在求解方面，面向多Agent的I-MADIDs的求解難度隨著其他Agent數(shù)目的增加指數(shù)增長，且原

7、有的行為等價算法不能普遍的簡單應(yīng)用。本文將原有的DMU行為等價方法應(yīng)用于I-MADIDs，并提出基于貝葉斯網(wǎng)參數(shù)學(xué)習(xí)的PL求解算法和二者結(jié)合的DL方法。實驗證明三種方法都可以有效降低模型求解的難度，其中DL方法更加節(jié)省求解時間。
　　 本文是智能Agent決策理論和決策模型領(lǐng)域的論文。通過本文的研究，將為實時動態(tài)決策問題的建模和求解打下更為堅實的基礎(chǔ)，對決策支持系統(tǒng)、多Agent模型、不確定決策分析等領(lǐng)域也有較高的學(xué)術(shù)價值和廣泛