基于Q學(xué)習(xí)的欠驅(qū)動雙足機(jī)器人行走控制研究.pdf

1、被動動態(tài)步行是雙足步行研究領(lǐng)域的一個重要分支，其目的在于挖掘動態(tài)步行本質(zhì)特征，充分利用自身動力學(xué)特性提高能效。由于機(jī)器人的結(jié)構(gòu)多樣性，動態(tài)特性具有較大差異，難以選用其他機(jī)器人的運(yùn)動軌跡作為參考步態(tài)。而在機(jī)器人與地面的不斷交互中，Q學(xué)習(xí)可以充分利用雙足機(jī)器人自身的動力學(xué)特性，在試錯中自主學(xué)習(xí)行走。本文針對五連桿欠驅(qū)動步行機(jī)器人行走控制，提出了基于神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)方法進(jìn)行研究，實(shí)現(xiàn)了穩(wěn)定連續(xù)的動態(tài)步行。本文完成的主要工作如下:
　　

2、 1.采用了平面五連桿四驅(qū)動模型，并在已有的柔性驅(qū)動方式的基礎(chǔ)上，為機(jī)器人選擇了柔性驅(qū)動器。
　　 2.提出了一種基于RBF神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)控制方法。利用RBF網(wǎng)絡(luò)的泛化能力，代替了離散的Q值表，實(shí)現(xiàn)了機(jī)器人連續(xù)狀態(tài)到離散的Q值表的映射關(guān)系，解決空間信度問題;將資格跡思想融入到RBF神經(jīng)網(wǎng)絡(luò)中，解決Q學(xué)習(xí)時間信度分配問題;借鑒了等效倒立擺模型降低神經(jīng)網(wǎng)絡(luò)輸入維度;提出了改進(jìn)的ε貪婪算法來平衡Q學(xué)習(xí)中“探索”與“利用”的矛盾。仿真

3、得到了穩(wěn)定自然的周期動態(tài)步態(tài)，驗(yàn)證了基于RBF神經(jīng)網(wǎng)絡(luò)的Q學(xué)習(xí)算法的有效性。
　　 3.為了解決Q學(xué)習(xí)“無監(jiān)督”、狀態(tài)-動作空間大帶來的學(xué)習(xí)速度慢的難題，本文采用了基于歷史經(jīng)驗(yàn)回放技術(shù)加速Q(mào)學(xué)習(xí)。仿真表明基于歷史經(jīng)驗(yàn)回放技術(shù)能提高Q學(xué)習(xí)效率。
　　 4.設(shè)計了ADAMS仿真平臺。為得到更為實(shí)際的仿真效果，建立了ADAMS上的虛擬樣機(jī)。在此基礎(chǔ)上建立了ADAMS與MATLAB的聯(lián)合仿真平臺。仿真實(shí)驗(yàn)表明仿真平臺能簡化繁瑣的