基于強化學(xué)習(xí)的人型機器人擺臂自平衡方法研究.pdf

1、當(dāng)下，研究者們對機器人的平衡控制研究主要集中在下肢，然而對于機器人的手部動作則較少關(guān)注。顯然，機器人的手臂擺動過程中所產(chǎn)生的慣量會對機器人的平衡有相當(dāng)?shù)挠绊?，而假若采用傳統(tǒng)的數(shù)學(xué)分析建模的方法，首先需要大量的運動物理學(xué)知識，其次建立的模型未必準(zhǔn)確而且不具有普適性。而用強化學(xué)習(xí)的方式讓機器人自動學(xué)會平衡控制則既是機器人平衡算法的發(fā)展趨勢又對硬件有良好的適應(yīng)性。因此本文嘗試用機器學(xué)習(xí)的方式學(xué)習(xí)生成機器人手臂控制算法以實現(xiàn)用機器人手臂擺動所產(chǎn)

2、生的慣量對機器人的平衡進行調(diào)節(jié)的任務(wù)。
　　為了簡化問題，本文不考慮機器人其他關(guān)節(jié)，只考慮機器人肩部關(guān)節(jié)，即讓機器人在發(fā)生前后方向上的傾斜時，讓機器人通過擺動手臂來實現(xiàn)平衡調(diào)節(jié)。
　　首先，用Q-learning學(xué)習(xí)算法學(xué)習(xí)生成了一個單極倒立擺的控制算法，這有助于對強化學(xué)習(xí)算法原理的理解和掌握，對于該模型所采用的是查表式的設(shè)計方法對倒立擺的狀態(tài)進行劃分，并用Simulink進行仿真。
　　其次，用 sarsa學(xué)習(xí)算法學(xué)

3、習(xí)生成了另一個單極倒立擺的控制算法，并用Simulink進行仿真，并將其與Q-learning學(xué)習(xí)算法進行比較，得出Q-learning學(xué)習(xí)算法更易收斂的結(jié)論。
　　再次，以Q-learning學(xué)習(xí)算法進行機器學(xué)習(xí)，在simrobot仿真環(huán)境下學(xué)習(xí)生成了控制機器人在直立情況下通過手臂前后擺動以保持平衡的控制算法，此問題和前面的倒立擺模型相似，不同的是它是通過擺動手臂來達到平衡調(diào)節(jié)的，并且具有更加復(fù)雜的狀態(tài)空間和動作集，雖然本文已經(jīng)