基于改進Q學習的認知無線網(wǎng)絡動態(tài)頻譜接入算法研究.pdf

1、作為一種智能無線通信網(wǎng)絡，認知無線網(wǎng)絡采用認知無線電技術允許認知用戶以一定方式使用授權頻段，從而提高頻譜利用率。認知無線網(wǎng)絡中的動態(tài)頻譜接入(DSA)問題是研究認知無線網(wǎng)絡的核心問題之一，它主要關注認知用戶如何合理高效地在動態(tài)變化的環(huán)境中使用授權頻段。鑒于增強學習中 Q學習算法的動態(tài)自主學習特性和易實現(xiàn)性，本文將多智能體Q學習(MAQL)方法應用到認知無線網(wǎng)絡的動態(tài)頻譜接入算法中，提出了適用于不同接入方式下的改進 Q學習動態(tài)頻譜接入算法

2、。
　　第一，介紹和分析了認知無線網(wǎng)絡中動態(tài)頻譜接入理論與模型，并給出 Q學習理論和方法。然后將協(xié)作多智能體 Q學習方法映射到認知無線網(wǎng)絡的動態(tài)頻譜接入算法中，同時提出相應的算法框架。
　　第二，在現(xiàn)有的基于貪心策略的多智能體 Q學習方法基礎上，先后提出了針對認知用戶共享空閑信道和獨占空閑信道兩種接入方式下的動態(tài)頻譜接入算法：基于認知用戶共享空閑信道的協(xié)作?-Greedy_MAQL DSA算法和基于認知用戶獨占空閑信道的協(xié)作

3、?-Greedy_MAQL DSA算法。仿真結果表明這兩種算法能夠有效地提高認知用戶接入公平性，增加認知系統(tǒng)的和容量。
　　第三，為了平衡學習過程中探索和擴張的關系，本文將現(xiàn)有的基于模擬退火的單智能體Q學習算法擴展到多智能體Q學習，提出了一種改進的Q學習算法：SA_MAQL。根據(jù)此算法，進一步提出了兩種動態(tài)頻譜接入算法：基于認知用戶共享空閑信道的協(xié)作SA_MAQL DSA算法和基于認知用戶獨占空閑信道的協(xié)作SA_MAQL DSA算