機(jī)器人群體行為數(shù)學(xué)建模與定量分析方法研究.pdf

1、機(jī)器人群體行為是在機(jī)器人之間及機(jī)器人與環(huán)境之間的交互作用過程中涌現(xiàn)出來的，是一個(gè)高度復(fù)雜的動(dòng)態(tài)的過程，其運(yùn)動(dòng)形式經(jīng)常是混沌的。因此，現(xiàn)有的機(jī)器人行為建模與設(shè)計(jì)方法還不足以從機(jī)理上描述機(jī)器人群體行為的復(fù)雜性。機(jī)器人群體行為的科學(xué)分析方法就是要實(shí)現(xiàn)對(duì)機(jī)器人行為的數(shù)學(xué)建模與定量分析，這也是在實(shí)際機(jī)器人行為學(xué)習(xí)中亟待解決的關(guān)鍵理論和技術(shù)問題。
　　 本文通過機(jī)器人任務(wù)建模及機(jī)器人與環(huán)境交互建模獲得機(jī)器人行為相關(guān)參數(shù)的數(shù)學(xué)描述，并建立機(jī)器

2、人群體行為混沌動(dòng)力學(xué)模型，通過對(duì)數(shù)學(xué)模型的研究與分析有助于理解機(jī)器人行為系統(tǒng)內(nèi)部的作用規(guī)律。機(jī)器人群體行為學(xué)習(xí)主要研究機(jī)器人之間及機(jī)器人與環(huán)境進(jìn)行社會(huì)性交互的機(jī)制，在社會(huì)性交互作用中涌現(xiàn)出復(fù)雜的群體行為。本文通過對(duì)機(jī)器人群體行為的定量分析與數(shù)學(xué)建模，建立關(guān)于機(jī)器人、任務(wù)和環(huán)境之間的社會(huì)性交互的完整理論框架體系。具體研究內(nèi)容為：
　　 (1)針對(duì)機(jī)器人在強(qiáng)化學(xué)習(xí)過程中存在的收斂速度慢、組合爆炸等問題，提出了一種基于神經(jīng)網(wǎng)絡(luò)的移動(dòng)機(jī)

3、器人路徑規(guī)劃強(qiáng)化學(xué)習(xí)初始化方法。神經(jīng)網(wǎng)絡(luò)與機(jī)器人工作空間具有相同的拓?fù)浣Y(jié)構(gòu)，每一個(gè)神經(jīng)元對(duì)應(yīng)于狀態(tài)空間中的一個(gè)離散狀態(tài)。首先根據(jù)已知的部分環(huán)境信息對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行演化，直到達(dá)到平衡狀態(tài)，這時(shí)每個(gè)神經(jīng)元的輸出值就代表該狀態(tài)可獲得的最大累積回報(bào)。然后將當(dāng)前狀態(tài)執(zhí)行選定的動(dòng)作獲得的立即回報(bào)加上后繼狀態(tài)遵循最優(yōu)策略獲得的最大折算累積回報(bào)(最大累積回報(bào)乘以折算因子)，即可對(duì)所有狀態(tài)-動(dòng)作對(duì)的Q(s，α)設(shè)定合理的初始值。通過Q值初始化能夠?qū)⑾闰?yàn)知識(shí)

4、融入到學(xué)習(xí)系統(tǒng)中，對(duì)機(jī)器人初始階段的學(xué)習(xí)進(jìn)行優(yōu)化，從而為機(jī)器人提供一個(gè)較好的學(xué)習(xí)基礎(chǔ)。
　　 (2)針對(duì)機(jī)器人群體行為強(qiáng)化學(xué)習(xí)過程中算法收斂速度較慢的問題，提出了基于知識(shí)共享的順序Q學(xué)習(xí)算法。在基于知識(shí)共享的順序Q學(xué)習(xí)過程中，追捕機(jī)器人首先根據(jù)目標(biāo)的運(yùn)動(dòng)狀態(tài)利用聚類的方法形成不同的追捕團(tuán)隊(duì)，然后每一個(gè)團(tuán)隊(duì)內(nèi)機(jī)器人按照一定順序依次進(jìn)行學(xué)習(xí)。每個(gè)機(jī)器人通過傳感器獲得當(dāng)前環(huán)境狀態(tài)，并判斷其他機(jī)器人是否已經(jīng)遇到過同樣的環(huán)境狀態(tài)，如果行為

5、規(guī)則庫中已經(jīng)存在相同的狀態(tài)，則根據(jù)知識(shí)庫與行為規(guī)則庫選擇動(dòng)作并對(duì)與其相對(duì)應(yīng)的行為權(quán)重向量進(jìn)行強(qiáng)化學(xué)習(xí)，否則，就將新的行為規(guī)則加入規(guī)則庫。在對(duì)行為權(quán)重向量進(jìn)行強(qiáng)化學(xué)習(xí)時(shí)，學(xué)習(xí)機(jī)器人利用加權(quán)策略共享為每個(gè)機(jī)器人分配相應(yīng)的權(quán)值，并且利用所有機(jī)器人經(jīng)驗(yàn)值的加權(quán)和來對(duì)行為權(quán)重進(jìn)行強(qiáng)化學(xué)習(xí)。
　　 (3)將前兩部分研究內(nèi)容實(shí)現(xiàn)的機(jī)器人行為作為建模對(duì)象，利用分形建模思想建立機(jī)器人協(xié)作追捕行為的完整數(shù)學(xué)模型。在對(duì)機(jī)器人行為進(jìn)行建模的過程中，利用

6、機(jī)器人協(xié)作追捕行為系統(tǒng)整體與局部具有的功能自相似性，從宏觀向微觀逐層細(xì)化地建立不同層次的機(jī)器人行為模型。首先根據(jù)具體任務(wù)確定系統(tǒng)總體目標(biāo)；然后利用宏觀建模法建立多機(jī)器人協(xié)作追捕行為狀態(tài)層次的數(shù)學(xué)模型，分析個(gè)體參數(shù)對(duì)機(jī)器人群體行為的影響；最后利用多項(xiàng)式建模法建立機(jī)器人與環(huán)境交互作用的行為層次數(shù)學(xué)模型。通過對(duì)機(jī)器人群體行為進(jìn)行建模，可以分析關(guān)鍵參數(shù)對(duì)系統(tǒng)行為的影響，通過數(shù)學(xué)分析獲得系統(tǒng)的最優(yōu)化參數(shù)選擇，為機(jī)器人群體行為的設(shè)計(jì)與分析提供必要的

7、理論依據(jù)。
　　 (4)采用動(dòng)力學(xué)系統(tǒng)理論分析機(jī)器人之間、機(jī)器人與環(huán)境之間的交互作用，利用系統(tǒng)中一個(gè)機(jī)器人的演化軌跡研究系統(tǒng)在多維相空間中的運(yùn)動(dòng)規(guī)律。首先采集一個(gè)機(jī)器人演化軌跡上不同時(shí)刻的數(shù)據(jù)點(diǎn)，選擇適當(dāng)?shù)那度刖S與延遲時(shí)間，重構(gòu)與原系統(tǒng)等價(jià)的相空間。相空間中的狀態(tài)信息可以充分地描述多機(jī)器人系統(tǒng)，并且包含了對(duì)動(dòng)力學(xué)系統(tǒng)進(jìn)行狀態(tài)預(yù)測(cè)所需的所有信息。然后分析相空間中吸引子的性質(zhì)，計(jì)算吸引子的特征值，包括Lyapunov指數(shù)、關(guān)聯(lián)維數(shù)、