基于學(xué)習(xí)和推測(cè)計(jì)算的多Agent協(xié)商機(jī)制研究.pdf

1、多Agent協(xié)商是分布式人工智能的主要研究領(lǐng)域之一，在電子商務(wù)中有重要的應(yīng)用。隨著Internet的不斷發(fā)展和成熟，企業(yè)的電子化、虛擬化的趨勢(shì)不斷加強(qiáng)，尤其是網(wǎng)上電子交易更加引人注意。為能充分利用Internet的網(wǎng)絡(luò)資源優(yōu)勢(shì)，電子交易領(lǐng)域的問(wèn)題也日漸突出，比如交易的精度低、效率低和交易者的智能性不足等。分布式人工智能協(xié)商技術(shù)為這些問(wèn)題的解決提供了一條途徑。協(xié)商是一個(gè)動(dòng)態(tài)復(fù)雜的過(guò)程，尤其是面對(duì)復(fù)雜的協(xié)商，解決上述問(wèn)題不是一件易事。自從Z

2、eng[5]提出基于Bayes學(xué)習(xí)的協(xié)商模型，并指出學(xué)習(xí)可以促進(jìn)協(xié)商以來(lái)，協(xié)商和機(jī)器學(xué)習(xí)結(jié)合起來(lái)成了新的研究熱點(diǎn)，提高協(xié)商者在協(xié)商過(guò)程中的學(xué)習(xí)能力是解決上述問(wèn)題的有效途徑。本文針對(duì)協(xié)商中存在的問(wèn)題，在對(duì)當(dāng)前機(jī)器學(xué)習(xí)方法和協(xié)商技術(shù)進(jìn)行深入細(xì)致的分析，并對(duì)它們各自的特點(diǎn)及優(yōu)缺點(diǎn)有了充分認(rèn)識(shí)的基礎(chǔ)上，對(duì)協(xié)商過(guò)程中的一些關(guān)鍵問(wèn)題進(jìn)行了研究。主要的研究?jī)?nèi)容有： 1.對(duì)推測(cè)計(jì)算進(jìn)行了擴(kuò)充，并提出了基于信念修正的推測(cè)計(jì)算。在計(jì)算過(guò)程中，如果應(yīng)答

3、和信念不一致，則主agent將修正它的信念。為了實(shí)現(xiàn)目標(biāo)，在有限時(shí)間內(nèi)，使推測(cè)計(jì)算的結(jié)果更精確，主agent要通過(guò)協(xié)商獲得盡可能多的實(shí)際信息，協(xié)商是降低決策風(fēng)險(xiǎn)的主要途徑。為此，提出了基于時(shí)間約束的推測(cè)計(jì)算擴(kuò)展框架、基于時(shí)間約束的進(jìn)一步協(xié)商框架和基于信念修正的協(xié)商算法，并將進(jìn)一步協(xié)商框架和協(xié)商算法嵌入到推測(cè)計(jì)算的過(guò)程中，在協(xié)商過(guò)程中賦予主agent更強(qiáng)的信念修正能力。最后，在貨物運(yùn)輸領(lǐng)域的實(shí)驗(yàn)證實(shí)了基于信念修正的推測(cè)計(jì)算的有效性。

4、 2.為了提高多問(wèn)題協(xié)商的準(zhǔn)確性和購(gòu)物agent的效用，除了考慮協(xié)商過(guò)程之外，還要解決協(xié)商前銷售agent的選擇問(wèn)題。為了充分學(xué)習(xí)協(xié)商歷史，實(shí)現(xiàn)探索(Exploration)和利用(Exploitation)的折衷，把銷售者的選擇問(wèn)題轉(zhuǎn)變成K臂賭博機(jī)問(wèn)題(K-armedbanditproblem)來(lái)求解。文中提出了信任和聲譽(yù)的度量模型，結(jié)合K臂賭博機(jī)問(wèn)題的求解技術(shù)，采用基于模擬協(xié)商(N(si))的學(xué)習(xí)機(jī)制，提出了幾個(gè)確定獎(jiǎng)勵(lì)分布的改進(jìn)

5、算法H(a，n)、E(a，r)、EE(a，r)和DS，最后，以模擬協(xié)商過(guò)程為基礎(chǔ)將改進(jìn)算法和信任及聲譽(yù)模型有機(jī)地結(jié)合起來(lái)，提高了選擇銷售agent的準(zhǔn)確性和實(shí)用性。幾個(gè)實(shí)驗(yàn)都證實(shí)了本文工作的有效性。 3.提出了一個(gè)以理性agent為基礎(chǔ)的基于多階段的多問(wèn)題協(xié)商框架。該框架在時(shí)間約束下適用于信息不完全的場(chǎng)景，它描述了多問(wèn)題的價(jià)格協(xié)商。為了降低多問(wèn)題協(xié)商的復(fù)雜性，它將多問(wèn)題協(xié)商分解為多階段協(xié)商，每個(gè)階段的大小(問(wèn)題數(shù))相同。階段數(shù)和

6、順序在協(xié)商前確定，每個(gè)階段中的問(wèn)題順序在協(xié)商中確定。在階段大小相同的情況下，對(duì)給定協(xié)商問(wèn)題的分解，框架能給出優(yōu)化協(xié)商議程(Agenda)，提出以仲裁agent為基礎(chǔ)的多階段協(xié)商協(xié)議，給出了確定多階段的過(guò)程。尤其是，框架能為參與協(xié)商的agent建立學(xué)習(xí)系統(tǒng)(LS)，以增強(qiáng)agent的學(xué)習(xí)能力。最后基于這個(gè)框架的原型系統(tǒng)證實(shí)這個(gè)框架是有效的。 4.提出一個(gè)基于推測(cè)計(jì)算的一對(duì)多并行協(xié)商模型。在多agent環(huán)境中，推測(cè)計(jì)算就是一個(gè)age

7、nt在還沒(méi)有得到應(yīng)答的情況下提前做出決策的過(guò)程。這部分將推測(cè)計(jì)算用于多個(gè)有償資源獲取的一對(duì)多協(xié)商中。首先將推測(cè)計(jì)算模型擴(kuò)充為可容納多協(xié)商線程的模型，并提出具有信念修正的多問(wèn)題協(xié)商模型。基于這兩個(gè)模型又提出了多線程并行協(xié)商過(guò)程。為實(shí)現(xiàn)這個(gè)多線程并行協(xié)商過(guò)程，給出兩種并行方案，并對(duì)這兩種方案和相應(yīng)的并行策略進(jìn)行了討論。最后通過(guò)實(shí)驗(yàn)證實(shí)了所給出的模型和并行協(xié)商過(guò)程是有效的。 5.協(xié)商雙方用動(dòng)態(tài)影響圖(DynamicInfluenceD

8、iagram-DID)序列作為協(xié)商雙方agent的信念機(jī)構(gòu)，提出固定時(shí)間區(qū)間的不同時(shí)刻的多DID綜合推理機(jī)制。改進(jìn)VotingEM算法為NE-VotingEM(S，yT)算法?；贜E-VotingEM(S,yT)算法的協(xié)商過(guò)程適應(yīng)于指定時(shí)間區(qū)間不同時(shí)刻網(wǎng)絡(luò)參數(shù)的在線學(xué)習(xí)，還具有考慮不同時(shí)刻多網(wǎng)絡(luò)相關(guān)性、確保已有信念的一定延遲等特點(diǎn)。NE-VotingEM(S,yT)算法不僅具有VotingEM的優(yōu)點(diǎn)，而且在自適應(yīng)學(xué)習(xí)率變化方面更精確。