基于學習和推測計算的多Agent協(xié)商機制研究.pdf

1、多Agent協(xié)商是分布式人工智能的主要研究領域之一，在電子商務中有重要的應用。隨著Internet的不斷發(fā)展和成熟，企業(yè)的電子化、虛擬化的趨勢不斷加強，尤其是網上電子交易更加引人注意。為能充分利用Internet的網絡資源優(yōu)勢，電子交易領域的問題也日漸突出，比如交易的精度低、效率低和交易者的智能性不足等。分布式人工智能協(xié)商技術為這些問題的解決提供了一條途徑。協(xié)商是一個動態(tài)復雜的過程，尤其是面對復雜的協(xié)商，解決上述問題不是一件易事。自從Z

2、eng[5]提出基于Bayes學習的協(xié)商模型，并指出學習可以促進協(xié)商以來，協(xié)商和機器學習結合起來成了新的研究熱點，提高協(xié)商者在協(xié)商過程中的學習能力是解決上述問題的有效途徑。本文針對協(xié)商中存在的問題，在對當前機器學習方法和協(xié)商技術進行深入細致的分析，并對它們各自的特點及優(yōu)缺點有了充分認識的基礎上，對協(xié)商過程中的一些關鍵問題進行了研究。主要的研究內容有： 1.對推測計算進行了擴充，并提出了基于信念修正的推測計算。在計算過程中，如果應答

3、和信念不一致，則主agent將修正它的信念。為了實現目標，在有限時間內，使推測計算的結果更精確，主agent要通過協(xié)商獲得盡可能多的實際信息，協(xié)商是降低決策風險的主要途徑。為此，提出了基于時間約束的推測計算擴展框架、基于時間約束的進一步協(xié)商框架和基于信念修正的協(xié)商算法，并將進一步協(xié)商框架和協(xié)商算法嵌入到推測計算的過程中，在協(xié)商過程中賦予主agent更強的信念修正能力。最后，在貨物運輸領域的實驗證實了基于信念修正的推測計算的有效性。

4、 2.為了提高多問題協(xié)商的準確性和購物agent的效用，除了考慮協(xié)商過程之外，還要解決協(xié)商前銷售agent的選擇問題。為了充分學習協(xié)商歷史，實現探索(Exploration)和利用(Exploitation)的折衷，把銷售者的選擇問題轉變成K臂賭博機問題(K-armedbanditproblem)來求解。文中提出了信任和聲譽的度量模型，結合K臂賭博機問題的求解技術，采用基于模擬協(xié)商(N(si))的學習機制，提出了幾個確定獎勵分布的改進

5、算法H(a，n)、E(a，r)、EE(a，r)和DS，最后，以模擬協(xié)商過程為基礎將改進算法和信任及聲譽模型有機地結合起來，提高了選擇銷售agent的準確性和實用性。幾個實驗都證實了本文工作的有效性。 3.提出了一個以理性agent為基礎的基于多階段的多問題協(xié)商框架。該框架在時間約束下適用于信息不完全的場景，它描述了多問題的價格協(xié)商。為了降低多問題協(xié)商的復雜性，它將多問題協(xié)商分解為多階段協(xié)商，每個階段的大小(問題數)相同。階段數和

6、順序在協(xié)商前確定，每個階段中的問題順序在協(xié)商中確定。在階段大小相同的情況下，對給定協(xié)商問題的分解，框架能給出優(yōu)化協(xié)商議程(Agenda)，提出以仲裁agent為基礎的多階段協(xié)商協(xié)議，給出了確定多階段的過程。尤其是，框架能為參與協(xié)商的agent建立學習系統(tǒng)(LS)，以增強agent的學習能力。最后基于這個框架的原型系統(tǒng)證實這個框架是有效的。 4.提出一個基于推測計算的一對多并行協(xié)商模型。在多agent環(huán)境中，推測計算就是一個age

7、nt在還沒有得到應答的情況下提前做出決策的過程。這部分將推測計算用于多個有償資源獲取的一對多協(xié)商中。首先將推測計算模型擴充為可容納多協(xié)商線程的模型，并提出具有信念修正的多問題協(xié)商模型?；谶@兩個模型又提出了多線程并行協(xié)商過程。為實現這個多線程并行協(xié)商過程，給出兩種并行方案，并對這兩種方案和相應的并行策略進行了討論。最后通過實驗證實了所給出的模型和并行協(xié)商過程是有效的。 5.協(xié)商雙方用動態(tài)影響圖(DynamicInfluenceD

8、iagram-DID)序列作為協(xié)商雙方agent的信念機構，提出固定時間區(qū)間的不同時刻的多DID綜合推理機制。改進VotingEM算法為NE-VotingEM(S，yT)算法?；贜E-VotingEM(S,yT)算法的協(xié)商過程適應于指定時間區(qū)間不同時刻網絡參數的在線學習，還具有考慮不同時刻多網絡相關性、確保已有信念的一定延遲等特點。NE-VotingEM(S,yT)算法不僅具有VotingEM的優(yōu)點，而且在自適應學習率變化方面更精確。