交互式動(dòng)態(tài)影響圖的建模及優(yōu)化算法研究.pdf

1、隨著Agent技術(shù)在工業(yè)、交通、國(guó)防、軍事、商務(wù)等領(lǐng)域日益廣泛的應(yīng)用和深入的發(fā)展，基于單Agent和多Agent的決策問(wèn)題日益復(fù)雜多樣，一系列復(fù)雜的大規(guī)模動(dòng)態(tài)決策問(wèn)題日益突出，因此，迫切需要一種更加有效解決多Agent決策問(wèn)題的理論、方法和模型，以期提高Agent決策的智能水平和決策響應(yīng)速度。
　　 影響圖(IDs)方法是一種利用有向圖構(gòu)造決策問(wèn)題的概率模型和數(shù)量計(jì)算框架的統(tǒng)計(jì)決策技術(shù)。其后產(chǎn)生的動(dòng)態(tài)影響圖(DIDs)技術(shù)是在動(dòng)

2、態(tài)貝葉斯網(wǎng)絡(luò)(DBNs)和影響圖的基礎(chǔ)上提出一種模型，它可以用來(lái)建模不確定環(huán)境下的Agent動(dòng)態(tài)決策問(wèn)題，以降低動(dòng)態(tài)決策問(wèn)題的復(fù)雜性。目前國(guó)際上的新課題與新挑戰(zhàn)是交互式動(dòng)態(tài)影響圖(I-DIDs)，其圖形表述和模型求解尤為引人矚目。目前的I-DIDs主要通過(guò)對(duì)其他Agent模型的猜測(cè)和識(shí)別來(lái)推斷其可能的決策，這存在著主觀性和不確定性，從而導(dǎo)致模型效用降低，求解困難，并局限于解決2個(gè)Agent的決策問(wèn)題。
　　 本文在前期工作的基礎(chǔ)

3、上，應(yīng)用部分可觀測(cè)馬爾可夫決策過(guò)程性質(zhì)、最大獎(jiǎng)勵(lì)期望值原理和行為等價(jià)原理(BE)，提出新的模型求解方法，降低計(jì)算難度，確保模型解的最優(yōu)性;根據(jù)概率圖模型理論、貝葉斯參數(shù)學(xué)習(xí)方法等嘗試面向多個(gè)Agent進(jìn)行建模和模型求解;在一般典型問(wèn)題（譬如多Agent老虎問(wèn)題和多AgentUAV問(wèn)題）上對(duì)上述新方法進(jìn)行驗(yàn)證。主要研究?jī)?nèi)容有:
　　 (1)提出利用部分策略識(shí)別行為等價(jià)模型的方法
　　 提出一種用于識(shí)別Agent模型是否行為

4、等價(jià)（精確或近似）的新方法。在多Agent環(huán)境中，無(wú)論決策還是博弈都必須考慮其他Agent的行為模型以預(yù)測(cè)他們的動(dòng)作。一種用于降低其他Agent行為模型空間復(fù)雜度的方法是組合行為等價(jià)的模型，判定模型行為等價(jià)需要求解模型并比較整個(gè)策略樹(shù)。由于策略樹(shù)隨時(shí)間推移指數(shù)增長(zhǎng)，整個(gè)策略樹(shù)的比較計(jì)算量很大，新方法對(duì)部分決策樹(shù)進(jìn)行比較，并確定策略樹(shù)葉子節(jié)點(diǎn)信度更新后的距離不大，通過(guò)交互動(dòng)態(tài)影響圖(I-DIDs)來(lái)檢查和評(píng)價(jià)方法的性能。
　　 (

5、2)提出利用增量式策略識(shí)別行為等價(jià)模型的方法
　　 提出用部分策略樹(shù)聚類近似行為等價(jià)模型的改進(jìn)方法，允許部分策略樹(shù)中分支對(duì)比在沒(méi)有到達(dá)需考慮的分支最大長(zhǎng)度時(shí)中止，這樣每個(gè)分支中止的長(zhǎng)度不同，因而可能產(chǎn)生一個(gè)不對(duì)稱的部分策略樹(shù)以聚類更多的近似行為等價(jià)模型。新方法可以節(jié)省更多的存儲(chǔ)空間，可以解決更大時(shí)間片的多Agent問(wèn)題域。
　　 (3)多Agent交互式動(dòng)態(tài)影響圖的建模與求解
　　 在交互動(dòng)態(tài)影響圖中，決策Age

6、nt常常需要求解其他Agent的行為模型以預(yù)測(cè)他們的行為，但是目前考慮的其他Agent只有一個(gè)，這顯然不能滿足大規(guī)模復(fù)雜問(wèn)題的決策需求。本文將需考慮的其他Agent推廣到多個(gè)，研究他們之間的關(guān)系，建立面向多Agent的交互式動(dòng)態(tài)影響圖模型(I-MADIDs)，并探討了如果兩個(gè)非建模Agent之間存在穩(wěn)定關(guān)系時(shí)，如何簡(jiǎn)化I-MADIDs模型。在求解方面，面向多Agent的I-MADIDs的求解難度隨著其他Agent數(shù)目的增加指數(shù)增長(zhǎng)，且原

7、有的行為等價(jià)算法不能普遍的簡(jiǎn)單應(yīng)用。本文將原有的DMU行為等價(jià)方法應(yīng)用于I-MADIDs，并提出基于貝葉斯網(wǎng)參數(shù)學(xué)習(xí)的PL求解算法和二者結(jié)合的DL方法。實(shí)驗(yàn)證明三種方法都可以有效降低模型求解的難度，其中DL方法更加節(jié)省求解時(shí)間。
　　 本文是智能Agent決策理論和決策模型領(lǐng)域的論文。通過(guò)本文的研究，將為實(shí)時(shí)動(dòng)態(tài)決策問(wèn)題的建模和求解打下更為堅(jiān)實(shí)的基礎(chǔ)，對(duì)決策支持系統(tǒng)、多Agent模型、不確定決策分析等領(lǐng)域也有較高的學(xué)術(shù)價(jià)值和廣泛