移動(dòng)機(jī)器人智能體混合式體系結(jié)構(gòu)研究.pdf

1、本文以Pioneer 3的移動(dòng)機(jī)器人單智能體體系結(jié)構(gòu)Saphira為載體，根據(jù)智能控制系統(tǒng)設(shè)計(jì)的一般結(jié)構(gòu)，從自主行為的角度研究移動(dòng)機(jī)器人混合式智能體體系結(jié)構(gòu)中行為設(shè)計(jì)、行為協(xié)調(diào)和行為之間的轉(zhuǎn)換關(guān)系等問題，建立包含反應(yīng)行為控制層、慎思行為控制層和監(jiān)督管理行為控制層的水平分層的智能體結(jié)構(gòu)。根據(jù)智能控制結(jié)構(gòu)設(shè)計(jì)的一般原則，在結(jié)構(gòu)中加入判值部件，即監(jiān)督層，來(lái)監(jiān)督和協(xié)調(diào)反應(yīng)層和慎思層的執(zhí)行情況，同時(shí)融入學(xué)習(xí)的功能，一是用來(lái)學(xué)習(xí)動(dòng)態(tài)環(huán)境下的適應(yīng)性行

2、為，二是通過(guò)收集樣本數(shù)據(jù)進(jìn)行訓(xùn)練/學(xué)習(xí)，建立預(yù)測(cè)模型，用來(lái)對(duì)動(dòng)態(tài)障礙物進(jìn)行避障。從而提高了移動(dòng)機(jī)器人在動(dòng)態(tài)、未知環(huán)境下的適應(yīng)性。 主要工作概括如下： 1、以移動(dòng)機(jī)器人單智能體體系結(jié)構(gòu)Saphira為載體，設(shè)計(jì)了一個(gè)移動(dòng)機(jī)器人混合式體系結(jié)構(gòu)。在Saphira的反應(yīng)/慎思混合式智能體體系結(jié)構(gòu)的基礎(chǔ)上，增加了一個(gè)監(jiān)督層。監(jiān)督層中設(shè)置監(jiān)督、協(xié)調(diào)和學(xué)習(xí)/進(jìn)化單元，用來(lái)監(jiān)督、協(xié)調(diào)反應(yīng)層和慎思層行為的執(zhí)行情況，并對(duì)未知環(huán)境中的行為進(jìn)行

3、學(xué)習(xí)和預(yù)測(cè)。設(shè)計(jì)了一個(gè)差值判別器，用來(lái)協(xié)調(diào)反應(yīng)和慎思行為的執(zhí)行。判別器設(shè)在監(jiān)督層的協(xié)調(diào)反應(yīng)/慎思交叉執(zhí)行的模塊中，用來(lái)存放移動(dòng)機(jī)器人實(shí)際移動(dòng)方向與慎思規(guī)劃方向的差值。如果差值沒有超過(guò)90°，則混合式規(guī)劃執(zhí)行的是自上而下的交叉，由慎思層啟動(dòng)反應(yīng)層，來(lái)執(zhí)行所規(guī)劃的子目標(biāo)；如果差值超過(guò)90°，則執(zhí)行行為自下而上的交叉，由反應(yīng)層啟動(dòng)慎思層，重新啟動(dòng)全局規(guī)劃，以保證能夠獲得較好的路徑。論文還分別對(duì)未建模障礙物對(duì)慎思層規(guī)劃軌跡影響較小時(shí)、影響較大時(shí)

4、，采用反應(yīng)式結(jié)構(gòu)和采用混合結(jié)構(gòu)時(shí)的規(guī)劃結(jié)果進(jìn)行了比較。仿真結(jié)果表明，在能夠很好地協(xié)調(diào)反應(yīng)與慎思功能交叉執(zhí)行的情況下，混合式體系結(jié)構(gòu)比單純的反應(yīng)式行為在面臨不確定情況時(shí)能夠表現(xiàn)出更好的性能。 2、在慎思層中，針對(duì)全局路徑規(guī)劃行為，提出一種適合柵格地圖的簡(jiǎn)單的規(guī)劃方法一最速下降法(Steepest Descend Method，SDM)。首先采用激光測(cè)距獲取運(yùn)行環(huán)境信息，建立柵格地圖。然后基于柵格地圖進(jìn)行SDM的設(shè)計(jì)，來(lái)滿足最短路徑

5、和避障等的需要。方法是把兩點(diǎn)之間直線最短的原理作為啟發(fā)式信息，采用類似波傳播原理的賦值方式，在起點(diǎn)柵格周圍形成不同的梯度，然后按照貪婪最佳優(yōu)先搜索的思想，從終點(diǎn)按照賦值下降最快的方向來(lái)尋找最短路徑，回溯到起點(diǎn)。針對(duì)路徑規(guī)劃問題的四個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，結(jié)合仿真和實(shí)驗(yàn)結(jié)果，可以得出SDM的優(yōu)越性表現(xiàn)在： (1)在時(shí)間復(fù)雜性上非常突出，通常只經(jīng)過(guò)一次搜索就可以找到最優(yōu)路徑，求解速度快，適用于實(shí)時(shí)規(guī)劃； (2)需要的存儲(chǔ)空間少，只與柵格

6、地圖劃分的粗細(xì)有關(guān)，空間復(fù)雜性為D(n)，n為柵格地圖中柵格的數(shù)目； (3)對(duì)環(huán)境的復(fù)雜性不敏感，總能迅速地找到最優(yōu)解； (4)算法具有一定的可擴(kuò)展性，可以根據(jù)不同評(píng)價(jià)標(biāo)準(zhǔn)的需要，來(lái)修改賦值方法，從而形成不同的路徑搜索算法。 3、采用強(qiáng)化學(xué)習(xí)中的Q-學(xué)習(xí)(Q-Learning，QL)，提出一種通過(guò)慎思行為學(xué)習(xí)來(lái)產(chǎn)生反應(yīng)式行為的自動(dòng)設(shè)計(jì)方法。這里的慎思行為是一個(gè)局部靜態(tài)最優(yōu)路徑規(guī)劃行為。學(xué)習(xí)完畢后形成控制規(guī)則，存放

7、到反應(yīng)層中，作為反應(yīng)式行為去執(zhí)行，從而實(shí)現(xiàn)了反應(yīng)層行為的設(shè)計(jì)。具體設(shè)計(jì)過(guò)程為： (1)首先對(duì)輸入/輸出空間進(jìn)行離散化，并由此構(gòu)造一個(gè)11×192大小的矩陣，Lookup-Q值表M<,Q>，用來(lái)存放執(zhí)行每個(gè)的Q值。 (2)學(xué)習(xí)時(shí)，在相同狀態(tài)下按照Boltzman公式選擇動(dòng)作，并隨著學(xué)習(xí)的進(jìn)行，逐漸改變溫度T的值，從而改變動(dòng)作選擇的概率，以解決探索和利用的平衡問題。 (3)對(duì)強(qiáng)化信號(hào)的設(shè)計(jì)作了較為細(xì)致的研究

8、。采用非均勻的表示方式，針對(duì)局部最優(yōu)路徑規(guī)劃任務(wù)，把強(qiáng)化信號(hào)設(shè)計(jì)成兩部分，分別用來(lái)表示與障礙物的距離信息和趨向目標(biāo)的程度。針對(duì)相同狀態(tài)下采取不同的動(dòng)作所轉(zhuǎn)移的狀態(tài)，給予不同的獎(jiǎng)懲信息，在提高學(xué)習(xí)收斂速度的同時(shí)，也保證了所學(xué)動(dòng)作的最優(yōu)性。 (4)把機(jī)器人的局部路徑規(guī)劃過(guò)程建模為一個(gè)非確定性情況下的MDP，針對(duì)所設(shè)計(jì)的強(qiáng)化信號(hào)分別對(duì)相同狀態(tài)下執(zhí)行不同的動(dòng)作進(jìn)行學(xué)習(xí)，利用改進(jìn)的Bellman公式更新Q值。 (5)QL結(jié)束以后把

9、M<,Q>表中每列具有最大Q值的提出來(lái)，進(jìn)行合并以后形成最優(yōu)控制規(guī)則，放到反應(yīng)層中作為反應(yīng)式行為去執(zhí)行。 (6)在不同的環(huán)境狀態(tài)下檢驗(yàn)所形成控制規(guī)則的性能。仿真結(jié)果表明：①算法不存在常規(guī)模糊控制規(guī)則中的“對(duì)稱無(wú)法確定”現(xiàn)象；②規(guī)劃較短路徑時(shí)，環(huán)境的復(fù)雜性對(duì)規(guī)劃算法的性能影響不大；③與慎思層的全局路徑規(guī)劃相結(jié)合，形成混合式規(guī)劃，可在復(fù)雜環(huán)境下規(guī)劃出任意長(zhǎng)度的最優(yōu)路徑。 (7)算法具有易擴(kuò)展性的特點(diǎn)。當(dāng)運(yùn)行環(huán)境改變

10、較大時(shí)，利用QL繼續(xù)進(jìn)行學(xué)習(xí)。當(dāng)的Q值在Lookup表所屬的列中不再是最大時(shí)，只需要修改反應(yīng)層中相應(yīng)的控制規(guī)則，而不必重新設(shè)計(jì)所有的控制規(guī)則。 4、將滾動(dòng)規(guī)劃、動(dòng)態(tài)預(yù)測(cè)、靜態(tài)局部最優(yōu)的反應(yīng)式規(guī)劃等概念與方法集成，提出了一種動(dòng)態(tài)未知環(huán)境下新的混合式動(dòng)態(tài)避障算法。并得到了有效的仿真實(shí)驗(yàn)結(jié)果。其主要內(nèi)容為：建立動(dòng)態(tài)預(yù)測(cè)模型。利用攝像鏡頭監(jiān)督動(dòng)態(tài)障礙物在運(yùn)行空間中的運(yùn)行情況，并及時(shí)收集障礙物的移動(dòng)軌跡，根據(jù)其散點(diǎn)圖的特點(diǎn)建立不

11、同的預(yù)測(cè)模型： a．動(dòng)態(tài)障礙物在作近似直線運(yùn)動(dòng)時(shí)，采用基于普通最小二乘法(Ordinary LeastSquares，OLS)的一元線性回歸模型對(duì)所采樣的最新時(shí)間序列值進(jìn)行擬合，并轉(zhuǎn)換為自回歸模型進(jìn)行預(yù)測(cè)，進(jìn)行實(shí)時(shí)避障。 b．動(dòng)態(tài)障礙物作非線性隨機(jī)運(yùn)動(dòng)時(shí)，采用徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(Radial BasisFunction Neural Network，RBFNN)來(lái)建立預(yù)測(cè)模型。并與通常使用的反向傳播神經(jīng)網(wǎng)絡(luò)(Back P

12、ropagation Neural Network，BPNN)預(yù)測(cè)模型進(jìn)行比較。仿真結(jié)果證實(shí)，RBFNN預(yù)測(cè)精度較高，而且學(xué)習(xí)速度很快，再結(jié)合所設(shè)計(jì)的N/M的樣本數(shù)據(jù)劃分，非常適合于非線性時(shí)間序列等系統(tǒng)的預(yù)測(cè)。 c．滾動(dòng)預(yù)測(cè)混合避障。在移動(dòng)機(jī)器人檢測(cè)范圍內(nèi)建立滾動(dòng)窗口，只對(duì)進(jìn)入滾動(dòng)窗口的動(dòng)態(tài)障礙物進(jìn)行避障預(yù)測(cè)計(jì)算。每前進(jìn)一步，就更新一次滾動(dòng)窗口內(nèi)的靜態(tài)障礙物和動(dòng)態(tài)障礙物的位置信息。然后把動(dòng)態(tài)障礙物的預(yù)測(cè)位置，轉(zhuǎn)化為“瞬時(shí)”靜態(tài)障