基于強化學習的認知無線電動態(tài)頻譜分配研究.pdf

1、強化學習技術(shù)從控制理論、統(tǒng)計學、心理學等相關(guān)學科發(fā)展而來，被認為是設(shè)計智能系統(tǒng)的核心技術(shù)之一。它對環(huán)境知識要求較少，對動態(tài)變化環(huán)境適應性強，應用于無線網(wǎng)絡時兼容性較好，這些特點都使得強化學習與生俱來地成為認知無線電的備選技術(shù)，并且具有廣泛的應用前景。
　　 本文將強化學習中一個典型的模型，部分感知馬爾可夫決策過程(PartiallyObservable Markov Decision Process，POMDP)應用到Ad Ho

2、e機會式頻譜接入（Opportunistic Spectrum Access，OSA）網(wǎng)絡中研究認知用戶頻譜感知與接入算法，使其具有較強的學習能力，從而通過認知循環(huán)(Cognitive Cycle，CC)高效機會式地接入授權(quán)頻譜。
　　 然而OSA網(wǎng)絡面臨的諸多挑戰(zhàn)，給我們的研究提出了以下具體的問題，首先在實際情況中，由于硬件的限制及能量的消耗，尤其是伴隨突發(fā)性業(yè)務的認知用戶不可能完全感知所有信道的信息，因此我們需要解決部分感知

3、問題;第二，頻譜感知接入策略應當同時具備機會識別和探索的能力;第三，如何在面臨感知錯誤時，將對授權(quán)用戶的干擾限制在一個指定的水平并最大化認知用戶吞吐量;第四，頻譜機會需要收發(fā)端聯(lián)合識別，當有感知錯誤時，收發(fā)器能夠同時跳頻。針對上述研究問題，本文利用強化學習中一個典型模型POMDP，設(shè)計了減少狀態(tài)量的基于信念向量的貪心策略算法，將感知與接入聯(lián)合考慮，并將其應用于完美感知和不完美感知接入兩種場景，詳細地分類驗證了其策略算法的性能;在最后提出