強(qiáng)化學(xué)習(xí)及其在MAS協(xié)同概念設(shè)計(jì)中應(yīng)用的研究.pdf

1、本文研究了采用多步信息更新值函數(shù)的多步Q學(xué)習(xí)算法、能夠有效平衡智能體(Agent)選擇動(dòng)作時(shí)面臨的新知識(shí)探索與當(dāng)前策略遵循的模擬退火Metropolis準(zhǔn)則和能夠提高經(jīng)驗(yàn)利用率、加快收斂速度的最小二乘強(qiáng)化學(xué)習(xí)方法，構(gòu)建了基于多智能體系統(tǒng)(MAS)的協(xié)同概念設(shè)計(jì)系統(tǒng)，并將強(qiáng)化學(xué)習(xí)應(yīng)用到該系統(tǒng)的任務(wù)調(diào)度和方案優(yōu)化中，旨在深化強(qiáng)化學(xué)習(xí)在理論與應(yīng)用方面的研究，促進(jìn)協(xié)同概念設(shè)計(jì)技術(shù)的發(fā)展。所做的主要工作和研究成果如下： 首先，提出了基于模

2、擬退火Metropolis準(zhǔn)則的多步Q學(xué)習(xí)算法。針對(duì)經(jīng)典的Q學(xué)習(xí)算法收斂速度慢的問(wèn)題，從兩個(gè)方面進(jìn)行了改進(jìn)：一是改進(jìn)了一步更新策略，單純的一步更新不能充分利用經(jīng)驗(yàn)信息，因此提出了采用多步信息更新值函數(shù)的多步Q學(xué)習(xí)算法；二是在多步Q學(xué)習(xí)算法的動(dòng)作選擇中引入了模擬退火中的Metropolis準(zhǔn)則，較好地解決了Agent選擇動(dòng)作時(shí)面臨的新知識(shí)探索還是當(dāng)前策略遵循的關(guān)鍵問(wèn)題。 其次，提出了離策略的最小二乘Q(λ)算法和在策略的最小二乘S

3、ARSA(λ)算法，以及各自的改進(jìn)遞推算法。針對(duì)經(jīng)典的Q(λ)和SARSA(λ)算法存在的經(jīng)驗(yàn)利用率低、收斂速度慢的問(wèn)題，根據(jù)當(dāng)前和多步的經(jīng)驗(yàn)知識(shí)樣本建立了狀態(tài)-動(dòng)作對(duì)值函數(shù)的最小二乘逼近模型，推導(dǎo)了逼近函數(shù)在一組基底上的權(quán)向量所滿(mǎn)足的一組線(xiàn)性方程，從而提出了最小二乘Q(λ)和最小二乘SARSA(λ)算法。并且根據(jù)遞推最小二乘參數(shù)估計(jì)方法，給出了各自的改進(jìn)遞推算法。由于最小二乘算法實(shí)際上是構(gòu)造了強(qiáng)化學(xué)習(xí)問(wèn)題的經(jīng)驗(yàn)?zāi)Ｐ?，因而能夠加快收斂?/p>

4、度。 再次，通過(guò)分析復(fù)雜產(chǎn)品協(xié)同概念設(shè)計(jì)過(guò)程的特點(diǎn)，提出了協(xié)同概念設(shè)計(jì)的集成模型，進(jìn)而提出了基于MAS的協(xié)同概念設(shè)計(jì)系統(tǒng)的層次化聯(lián)邦結(jié)構(gòu)，設(shè)計(jì)了系統(tǒng)中管理Agent和設(shè)計(jì)Agent的結(jié)構(gòu)。在這兩類(lèi)Agent中分別實(shí)現(xiàn)了任務(wù)調(diào)度、沖突消解、方案評(píng)價(jià)與優(yōu)化、智能設(shè)計(jì)等功能。提出了適用于復(fù)雜產(chǎn)品概念設(shè)計(jì)的信念型承諾，給出了Agent的形式化表示，詳細(xì)討論了基于信念型承諾的Agent協(xié)作機(jī)制。該協(xié)同概念設(shè)計(jì)系統(tǒng)的建立為研究強(qiáng)化學(xué)習(xí)在其中

5、的應(yīng)用奠定了基礎(chǔ)。 最后，針對(duì)協(xié)同概念設(shè)計(jì)系統(tǒng)管理Agent中的任務(wù)調(diào)度和方案優(yōu)化問(wèn)題，提出了基于強(qiáng)化學(xué)習(xí)的求解方法。任務(wù)調(diào)度問(wèn)題是協(xié)同設(shè)計(jì)的重要內(nèi)容之一，目前的方法大多存在算法效率較低、收斂于局部最優(yōu)解等缺點(diǎn)。建立了調(diào)度問(wèn)題的馬爾可夫決策過(guò)程(MDP)模型，從理論上證明了采用強(qiáng)化學(xué)習(xí)求解調(diào)度問(wèn)題的可行性，給出了基于O學(xué)習(xí)和Q(λ)學(xué)習(xí)的任務(wù)調(diào)度算法，從而為有向無(wú)環(huán)圖(DAG)調(diào)度提供了一種新解法?，F(xiàn)有的概念設(shè)計(jì)方案優(yōu)化方法存在