基于ERL的虛擬物種進(jìn)化.pdf

1、人工生命作為一個新的研究領(lǐng)域，其關(guān)于進(jìn)化的研究是最基本和最重要的課題。它以生命現(xiàn)象為研究對象，以生命過程的機理及其工程實現(xiàn)技術(shù)為主要研究內(nèi)容，以擴展人的生命功能為主要研究目標(biāo)。人工生命的研究興趣在于對生命系統(tǒng)行為特性的仿生，學(xué)科中使用由下而上合成的方法，使人工系統(tǒng)具有很好的適應(yīng)性、靈活性。虛擬生物是智能虛擬環(huán)境的一部分，也是檢驗人工生命理論的一種實驗手段。從人工生命的觀點來看，虛擬生物的感知、認(rèn)知是進(jìn)化計算中自發(fā)涌現(xiàn)的結(jié)果，本質(zhì)上也是一

2、個模式形成過程。因此對其中agent的研究可以增進(jìn)整個系統(tǒng)的能力。人工生命的研究在人工智能系統(tǒng)中有著理論和應(yīng)用的重要性，其中它的進(jìn)化模型義能解決機器學(xué)習(xí)、函數(shù)優(yōu)化、信號處理中的一些問題。 機器學(xué)習(xí)是人類使用計算機來模擬生物學(xué)習(xí)能力的一種手段。它是人工智能研究中的重要一環(huán)，它的研究對人工智能和機器人技術(shù)的發(fā)展具有重要的意義。增強學(xué)習(xí)是近幾十年來迅速發(fā)展起來的一類機器學(xué)習(xí)方法。它不需要先驗知識，因此是一種弱化了指導(dǎo)學(xué)習(xí)的學(xué)習(xí)方法。它

3、通過和環(huán)境交互時使用的試錯法來學(xué)習(xí)，這是增強學(xué)習(xí)的特點之一。增強學(xué)習(xí)應(yīng)該理解為一類問題的集合，而不是一類方法的集合。當(dāng)agent必須通過和環(huán)境的試錯式交互來提高自己的行為、達(dá)到某種目的時，它所面臨的問題就是增強學(xué)習(xí)的問題。由于人工生命是一個多agent系統(tǒng)，其中的虛擬環(huán)境是動態(tài)變化的，其他agent的行為是未知的，因此在人工生命模型中使用增強學(xué)習(xí)模型有利于agent在虛擬環(huán)境中的自學(xué)習(xí)與自適應(yīng)。 進(jìn)化增強學(xué)習(xí)是將增強學(xué)習(xí)與智能計

4、算相結(jié)合的一種學(xué)習(xí)方式，原有的進(jìn)化增強學(xué)習(xí)采用了增強學(xué)習(xí)的學(xué)習(xí)框架，使用神經(jīng)網(wǎng)絡(luò)與遺傳算法相結(jié)合的方法米實現(xiàn)該框架。該模型中一個agent具有評估網(wǎng)和行動網(wǎng)兩種神經(jīng)網(wǎng)絡(luò)，它們分別對評估和決策進(jìn)行計算得出行動策略，并使用遺傳算法對這兩個網(wǎng)絡(luò)進(jìn)行權(quán)值優(yōu)化。在增強學(xué)習(xí)中策略的開發(fā)與探索之間的平衡決定了agent是開發(fā)未執(zhí)行過的行為集還是繼續(xù)探索己經(jīng)在學(xué)習(xí)過程中得到的知識。一味的開發(fā)將使agent很快地陷入局部最優(yōu)，雖然探索可以跳出局部最優(yōu)并加

5、速學(xué)習(xí)，但過多的探索將影響算法的性能。原有的ERL模型在這方面沒有很好的進(jìn)行處理，另外此理論在應(yīng)用中還存在著狀態(tài)空間壓縮，信用分配等問題，因此這種學(xué)習(xí)方式具有一定的局限性。 本文旨在原有的進(jìn)化增強學(xué)習(xí)模型基礎(chǔ)上建立一個多agent系統(tǒng)，創(chuàng)建一種能平衡搜索與利用關(guān)系的改進(jìn)模型，以提高agent在虛擬環(huán)境中的適應(yīng)水平，同時觀察學(xué)習(xí)與進(jìn)化在agent中的體現(xiàn)以及虛擬生物在虛擬環(huán)境中怎樣處理生存與繁殖問題，并期望在一定程度上體現(xiàn)人工生命

6、群聚智能和“涌現(xiàn)”特征。 Q學(xué)習(xí)是在增強學(xué)習(xí)基礎(chǔ)之上發(fā)展起來的一種新的機器學(xué)習(xí)方法，它的學(xué)習(xí)方法是以Q值的大小為指導(dǎo)。在實現(xiàn)過程中改進(jìn)模型結(jié)合了進(jìn)化增強學(xué)習(xí)的Q學(xué)習(xí)算法與分布式策略方法，遵循學(xué)習(xí)與進(jìn)化對人工生命中的虛擬生物的指導(dǎo)作用，使用神經(jīng)網(wǎng)絡(luò)完成虛擬物種在虛擬環(huán)境中對環(huán)境的學(xué)習(xí)和對自身如何進(jìn)化的學(xué)習(xí)，弱化了指導(dǎo)學(xué)習(xí)在學(xué)習(xí)過程中的作用，使agent依靠環(huán)境作為學(xué)習(xí)的回饋，有著更好的適應(yīng)性。模型中的神經(jīng)網(wǎng)絡(luò)結(jié)合遺傳算法實現(xiàn)了一個

7、agent評估一決策模型，使agent能進(jìn)行有目的的移動并在行為過程中得到學(xué)習(xí)，并且使用Actot-Critic模型中的感知作為行動神經(jīng)網(wǎng)絡(luò)的輸入。在神經(jīng)網(wǎng)絡(luò)計算過程中結(jié)合了遺傳算法和分布式策略，行動網(wǎng)的最終輸出是一種基于馬爾可大決策鏈的增強學(xué)習(xí)結(jié)果，這個結(jié)果不是單一的值而是對行動概率的一種描述，當(dāng)感知到食物或在滿足繁殖條什的情況下，agent的行動在自身行動網(wǎng)輸出的基礎(chǔ)上依照概率選出，岡此在加強了收斂效果的同時也體現(xiàn)了agent的自學(xué)

8、習(xí)功能。此外還利用遺傳算法作為虛擬物種的進(jìn)化規(guī)則，使得具有高適應(yīng)度的物種能夠生存并繁衍下去，籍此使虛擬生物的進(jìn)化得以實現(xiàn)，從而完成agent對外界環(huán)境的自適應(yīng)功能。 該模型依據(jù)揭示進(jìn)化與學(xué)習(xí)關(guān)系的Baldwin效應(yīng)，在神經(jīng)網(wǎng)絡(luò)、進(jìn)化學(xué)習(xí)、增強學(xué)習(xí)以及分布式方法的結(jié)合運用下實現(xiàn)agent的學(xué)習(xí)與進(jìn)化，體現(xiàn)了學(xué)習(xí)和進(jìn)化在人工生命中的重要性以及兩者之間的相互作用。 目前相關(guān)實驗大多聚集在單一環(huán)境中的虛擬物種進(jìn)化學(xué)習(xí)過程研究上，

9、改進(jìn)后的增強學(xué)習(xí)算法不僅能夠較快的收斂并且具有較好的適應(yīng)度，還增強了agent對非單元環(huán)境的適應(yīng)性。 在文章最后，對于該模型的具體實現(xiàn)與觀察結(jié)果列出了一些相關(guān)實驗數(shù)據(jù)，并將實驗結(jié)果的采樣與其他相關(guān)實驗進(jìn)行比較。從給出的仿真模型中表明，agent在具有自由活動、覓食、繁殖、逃避等行為特征的同時，其臼身算法的效果有了一定提高。使用該模型有助于agent對外界環(huán)境的學(xué)習(xí)與行為決策，并且有較好的收斂性與進(jìn)化適應(yīng)度。 本項目具有一