機器人群體行為數(shù)學(xué)建模與定量分析方法研究.pdf

1、機器人群體行為是在機器人之間及機器人與環(huán)境之間的交互作用過程中涌現(xiàn)出來的，是一個高度復(fù)雜的動態(tài)的過程，其運動形式經(jīng)常是混沌的。因此，現(xiàn)有的機器人行為建模與設(shè)計方法還不足以從機理上描述機器人群體行為的復(fù)雜性。機器人群體行為的科學(xué)分析方法就是要實現(xiàn)對機器人行為的數(shù)學(xué)建模與定量分析，這也是在實際機器人行為學(xué)習(xí)中亟待解決的關(guān)鍵理論和技術(shù)問題。
　　 本文通過機器人任務(wù)建模及機器人與環(huán)境交互建模獲得機器人行為相關(guān)參數(shù)的數(shù)學(xué)描述，并建立機器

2、人群體行為混沌動力學(xué)模型，通過對數(shù)學(xué)模型的研究與分析有助于理解機器人行為系統(tǒng)內(nèi)部的作用規(guī)律。機器人群體行為學(xué)習(xí)主要研究機器人之間及機器人與環(huán)境進行社會性交互的機制，在社會性交互作用中涌現(xiàn)出復(fù)雜的群體行為。本文通過對機器人群體行為的定量分析與數(shù)學(xué)建模，建立關(guān)于機器人、任務(wù)和環(huán)境之間的社會性交互的完整理論框架體系。具體研究內(nèi)容為：
　　 (1)針對機器人在強化學(xué)習(xí)過程中存在的收斂速度慢、組合爆炸等問題，提出了一種基于神經(jīng)網(wǎng)絡(luò)的移動機

3、器人路徑規(guī)劃強化學(xué)習(xí)初始化方法。神經(jīng)網(wǎng)絡(luò)與機器人工作空間具有相同的拓?fù)浣Y(jié)構(gòu)，每一個神經(jīng)元對應(yīng)于狀態(tài)空間中的一個離散狀態(tài)。首先根據(jù)已知的部分環(huán)境信息對神經(jīng)網(wǎng)絡(luò)進行演化，直到達(dá)到平衡狀態(tài)，這時每個神經(jīng)元的輸出值就代表該狀態(tài)可獲得的最大累積回報。然后將當(dāng)前狀態(tài)執(zhí)行選定的動作獲得的立即回報加上后繼狀態(tài)遵循最優(yōu)策略獲得的最大折算累積回報(最大累積回報乘以折算因子)，即可對所有狀態(tài)-動作對的Q(s，α)設(shè)定合理的初始值。通過Q值初始化能夠?qū)⑾闰炛R

4、融入到學(xué)習(xí)系統(tǒng)中，對機器人初始階段的學(xué)習(xí)進行優(yōu)化，從而為機器人提供一個較好的學(xué)習(xí)基礎(chǔ)。
　　 (2)針對機器人群體行為強化學(xué)習(xí)過程中算法收斂速度較慢的問題，提出了基于知識共享的順序Q學(xué)習(xí)算法。在基于知識共享的順序Q學(xué)習(xí)過程中，追捕機器人首先根據(jù)目標(biāo)的運動狀態(tài)利用聚類的方法形成不同的追捕團隊，然后每一個團隊內(nèi)機器人按照一定順序依次進行學(xué)習(xí)。每個機器人通過傳感器獲得當(dāng)前環(huán)境狀態(tài)，并判斷其他機器人是否已經(jīng)遇到過同樣的環(huán)境狀態(tài)，如果行為

5、規(guī)則庫中已經(jīng)存在相同的狀態(tài)，則根據(jù)知識庫與行為規(guī)則庫選擇動作并對與其相對應(yīng)的行為權(quán)重向量進行強化學(xué)習(xí)，否則，就將新的行為規(guī)則加入規(guī)則庫。在對行為權(quán)重向量進行強化學(xué)習(xí)時，學(xué)習(xí)機器人利用加權(quán)策略共享為每個機器人分配相應(yīng)的權(quán)值，并且利用所有機器人經(jīng)驗值的加權(quán)和來對行為權(quán)重進行強化學(xué)習(xí)。
　　 (3)將前兩部分研究內(nèi)容實現(xiàn)的機器人行為作為建模對象，利用分形建模思想建立機器人協(xié)作追捕行為的完整數(shù)學(xué)模型。在對機器人行為進行建模的過程中，利用

6、機器人協(xié)作追捕行為系統(tǒng)整體與局部具有的功能自相似性，從宏觀向微觀逐層細(xì)化地建立不同層次的機器人行為模型。首先根據(jù)具體任務(wù)確定系統(tǒng)總體目標(biāo)；然后利用宏觀建模法建立多機器人協(xié)作追捕行為狀態(tài)層次的數(shù)學(xué)模型，分析個體參數(shù)對機器人群體行為的影響；最后利用多項式建模法建立機器人與環(huán)境交互作用的行為層次數(shù)學(xué)模型。通過對機器人群體行為進行建模，可以分析關(guān)鍵參數(shù)對系統(tǒng)行為的影響，通過數(shù)學(xué)分析獲得系統(tǒng)的最優(yōu)化參數(shù)選擇，為機器人群體行為的設(shè)計與分析提供必要的

7、理論依據(jù)。
　　 (4)采用動力學(xué)系統(tǒng)理論分析機器人之間、機器人與環(huán)境之間的交互作用，利用系統(tǒng)中一個機器人的演化軌跡研究系統(tǒng)在多維相空間中的運動規(guī)律。首先采集一個機器人演化軌跡上不同時刻的數(shù)據(jù)點，選擇適當(dāng)?shù)那度刖S與延遲時間，重構(gòu)與原系統(tǒng)等價的相空間。相空間中的狀態(tài)信息可以充分地描述多機器人系統(tǒng)，并且包含了對動力學(xué)系統(tǒng)進行狀態(tài)預(yù)測所需的所有信息。然后分析相空間中吸引子的性質(zhì)，計算吸引子的特征值，包括Lyapunov指數(shù)、關(guān)聯(lián)維數(shù)、