基于強化學(xué)習(xí)的動態(tài)頻譜分配算法的研究.pdf

1、認知無線電的智能核心在認知引擎中，認知引擎執(zhí)行在通信系統(tǒng)重構(gòu)中必須的模擬、學(xué)習(xí)、最優(yōu)化過程。認知引擎必須具備學(xué)習(xí)能力，是認知無線電區(qū)別于傳統(tǒng)無線電的關(guān)鍵部件。本文主要研究的便是將強化學(xué)習(xí)引入到認知用戶動態(tài)接入授權(quán)用戶網(wǎng)絡(luò)的動態(tài)頻譜接入問題中，使認知用戶具備一定的智能，使認知引擎具備學(xué)習(xí)推理能力。
　　 本文介紹了強化學(xué)習(xí)的基本原理，描述了幾種比較常用的強化學(xué)習(xí)算法，并且對多智能體強化學(xué)習(xí)理論進行了比較詳細的介紹，為接下來的研究打

2、好了理論基礎(chǔ)。
　　 本文將頻點的信噪比考慮到認知用戶的獎賞函數(shù)中，提出了一種改進的DAQL算法，并且將該算法引入到有授權(quán)用戶存在環(huán)境下的動態(tài)頻譜接入的問題中，使認知用戶具備一定的智能，實現(xiàn)了降低系統(tǒng)沖突概率，同時提高系統(tǒng)的平均容量的目標。仿真證明了該方案的有效性。
　　 本文重點研究了多用戶動態(tài)頻譜接入的問題，在認知用戶獨立學(xué)習(xí)的基礎(chǔ)上提出一種基于分布式獨立學(xué)習(xí)的多用戶動態(tài)頻譜接入算法。該算法中每個認知用戶都是一個基于

3、獨立學(xué)習(xí)的智能體，它不知道在聯(lián)合行動中其他認知用戶的行動策略，僅維護自己的一個關(guān)于狀態(tài)-行動對的Q值表，并且每個認知用戶各自采取獨立的迭代過程。同時將各個用戶頻點的信噪比引入到獎賞函數(shù)r中，在降低系統(tǒng)沖突概率的同時，提高了系統(tǒng)的平均容量。仿真結(jié)果表明該算法可以降低沖突概率，在考慮頻點信噪比的情況下，系統(tǒng)的平均容量可以得到提高。
　　 為了加快學(xué)習(xí)速率，使系統(tǒng)能夠擁有更好的收斂速度，本文將黑板模型、融合算法以及強化學(xué)習(xí)技術(shù)相結(jié)合，