基于強(qiáng)化學(xué)習(xí)的Ad Hoc網(wǎng)絡(luò)QoS路由算法研究.pdf

1、Ad Hoc網(wǎng)絡(luò)(MANETs,Mobile Ad Hoc Networks)是一種由無(wú)線移動(dòng)節(jié)點(diǎn)組成的具有任意性和臨時(shí)性網(wǎng)絡(luò)拓?fù)涞膭?dòng)態(tài)自組織網(wǎng)絡(luò)系統(tǒng)。隨著應(yīng)用領(lǐng)域的不斷擴(kuò)展,要求Ad Hoe網(wǎng)絡(luò)能夠針對(duì)不同多媒體業(yè)務(wù)提供不同的服務(wù)質(zhì)量QoS(Quality ofservice)。特別是目前日益增多的音頻、視頻和高實(shí)時(shí)性的數(shù)據(jù)業(yè)務(wù)都對(duì)網(wǎng)絡(luò)傳輸平均延遲、延遲抖動(dòng)、優(yōu)先級(jí)劃分、帶寬分配等提出了更高的要求。
　　 本文在總結(jié)前人研究工

2、作的基礎(chǔ)上,對(duì)利用強(qiáng)化學(xué)習(xí)算法求解移動(dòng)Ad Hoc網(wǎng)絡(luò)QoS路由問(wèn)題進(jìn)行了系統(tǒng)而深入的研究,主要做了以下三方面工作。
　　 1.在分析現(xiàn)有Ad Hoc路由算法鏈路模型的基礎(chǔ)上,針對(duì)現(xiàn)有路由算法的鏈路模型基本為二值模型,也就是鏈路要么是斷開,要么是連接,這種模型不能有效區(qū)分是由于擁塞引起的鏈路失敗,還是由于目標(biāo)不在傳輸范圍內(nèi)引起的傳輸失敗這一問(wèn)題,本文將離散鏈路模型改進(jìn)為基于統(tǒng)計(jì)值的連續(xù)鏈路模型,并結(jié)合改進(jìn)Q學(xué)習(xí)算法,提出了基于改

3、進(jìn)統(tǒng)計(jì)鏈路模型的Ad Hoc網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)路由算法SNLQ。根據(jù)802.11MAC協(xié)議的特點(diǎn),利用統(tǒng)計(jì)度量信息來(lái)表示鏈路的質(zhì)量,有效解決了強(qiáng)化學(xué)習(xí)路由算法鏈路表示問(wèn)題,也為強(qiáng)化學(xué)習(xí)算法的動(dòng)作選擇提供更準(zhǔn)確的信息。仿真實(shí)驗(yàn)表明,該算法可以有效解決擁塞頻率和端到端延時(shí),其性能優(yōu)于AODV與DSR。
　　 2.本文通過(guò)研究多約束QoS路由的數(shù)學(xué)模型,結(jié)合改進(jìn)的SARSA強(qiáng)化學(xué)習(xí)算法,提出了應(yīng)用SARSA強(qiáng)化學(xué)習(xí)算法來(lái)求解移動(dòng)Ad Hoc