基于社區(qū)感知網(wǎng)絡(luò)的多機(jī)器人系統(tǒng)Q-學(xué)習(xí)與運(yùn)動(dòng)控制研究.pdf

1、近年來(lái)，基于網(wǎng)絡(luò)的多機(jī)器人系統(tǒng)領(lǐng)域研究取得了很好的成果，但從整體來(lái)看基于網(wǎng)絡(luò)環(huán)境下的多機(jī)器人系統(tǒng)研究仍然面臨許多亟需解決的問(wèn)題，主要包括:如何應(yīng)對(duì)實(shí)際環(huán)境復(fù)雜性所帶來(lái)的靜態(tài)節(jié)點(diǎn)無(wú)法全部連通問(wèn)題;如何處理網(wǎng)絡(luò)信息傳輸帶來(lái)的時(shí)延、噪聲、數(shù)據(jù)包丟失等困擾;如何增強(qiáng)網(wǎng)絡(luò)化環(huán)境下機(jī)器人的環(huán)境理解能力;在網(wǎng)絡(luò)化系統(tǒng)的框架下，如何高效的實(shí)現(xiàn)多機(jī)器人之間的運(yùn)動(dòng)控制等。
　　增強(qiáng)學(xué)習(xí)是多機(jī)器人系統(tǒng)通過(guò)與外界環(huán)境交互的一類有效的機(jī)器學(xué)習(xí)方法。Q-學(xué)習(xí)

2、作為增強(qiáng)學(xué)習(xí)的一種典型算法，由于其不用建立環(huán)境模型，通過(guò)試錯(cuò)法與環(huán)境的不斷交互獲得策略的改進(jìn)和完善，最終實(shí)現(xiàn)對(duì)機(jī)器人的運(yùn)動(dòng)控制。通過(guò)在環(huán)境中部署靜態(tài)節(jié)點(diǎn)，構(gòu)建可相互連通的靜態(tài)節(jié)點(diǎn)群組形成一個(gè)社區(qū)，通過(guò)無(wú)線通信方式形成多跳的社區(qū)感知網(wǎng)絡(luò)。針對(duì)維數(shù)災(zāi)和學(xué)習(xí)不充分等問(wèn)題，本碩士論文采用ε-半徑近鄰分類方法對(duì)機(jī)器人的歷史狀態(tài)進(jìn)行分類和降維，同時(shí)將信息交互與共享等方法有機(jī)結(jié)合，提高機(jī)器人的Q-學(xué)習(xí)效率。最后，考慮學(xué)習(xí)信息在靜態(tài)節(jié)點(diǎn)社區(qū)感知網(wǎng)絡(luò)傳輸

3、存在時(shí)滯特性，將拓?fù)渚W(wǎng)絡(luò)的時(shí)滯假設(shè)為等時(shí)滯和異時(shí)滯兩種情況，分別討論多機(jī)器人系統(tǒng)在兩種時(shí)滯社區(qū)感知網(wǎng)絡(luò)環(huán)境下的Q-學(xué)習(xí)算法與運(yùn)動(dòng)控制。主要研究工作如下:
　　第一，針對(duì)基于網(wǎng)絡(luò)的多機(jī)器人系統(tǒng)存在的不足，給出了社區(qū)感知網(wǎng)絡(luò)架構(gòu)。利用靜態(tài)智能節(jié)點(diǎn)提供社區(qū)內(nèi)其他機(jī)器人的歷史學(xué)習(xí)信息進(jìn)行綜合決策進(jìn)而加快自身學(xué)習(xí)，提出了一種改進(jìn)的多機(jī)器人Q-學(xué)習(xí)算法實(shí)現(xiàn)對(duì)機(jī)器人的運(yùn)動(dòng)控制。
　　第二，針對(duì)社區(qū)感知網(wǎng)絡(luò)環(huán)境下的多機(jī)器人強(qiáng)化學(xué)習(xí)中存在的維

4、數(shù)災(zāi)和對(duì)社區(qū)網(wǎng)絡(luò)內(nèi)智能節(jié)點(diǎn)提供的其他機(jī)器人的歷史信息學(xué)習(xí)不充分等問(wèn)題，提出一種在線ε-半徑近鄰狀態(tài)分類方法，對(duì)機(jī)器人歷史狀態(tài)進(jìn)行實(shí)時(shí)的降維分類;同時(shí)利用社區(qū)近鄰集更充分的學(xué)習(xí)其他機(jī)器人的歷史信息;最后分析了Q值矩陣收斂性問(wèn)題。
　　第三，針對(duì)社區(qū)網(wǎng)絡(luò)感知環(huán)境下機(jī)器人之間的信息交互的問(wèn)題，通過(guò)融合社區(qū)網(wǎng)絡(luò)內(nèi)的機(jī)器人的學(xué)習(xí)信息，提出社區(qū)信息共享機(jī)制及社區(qū)Q值表更新規(guī)則，從而減小網(wǎng)絡(luò)計(jì)算量和復(fù)雜度。同時(shí)考慮到學(xué)習(xí)信息在社區(qū)網(wǎng)絡(luò)內(nèi)的傳輸存