強化學習及其在協同虛擬環(huán)境導航知識中的應用研究.pdf

1、協同虛擬環(huán)境（CVE）是虛擬現實技術與網絡技術相結合的產物，將分布在不同地理位置的獨立的虛擬現實系統(tǒng)通過網絡連接起來，使多個Agent在一個共享的三維環(huán)境中進行交互，協作完成任務。目前，CVE系統(tǒng)已經在科學可視化、協同設計、戰(zhàn)爭模擬等多個領域得到廣泛的應用。在虛擬環(huán)境中，特別是大范圍復雜的虛擬環(huán)境中智能體很容易迷路，對智能體來講，能調整自己的方向實現導航的目標更是不容易。在人工智能領域，長期以來一個重要的目標是如何設計一個Agent使它

2、能夠在復雜環(huán)境中自主地完成任務，這與協同虛擬環(huán)境中智能體的自助導航控制問題極為相似。強化學習理論作為智能學習的一個重要分支，是從控制論、統(tǒng)計學、心理學和認知學等相關學科發(fā)展而來的，有著相當長的歷史，在智能學習中得到廣泛研究。 本文對協同虛擬環(huán)境及其導航進行了深入研究和探討，根據CVE協同導航所具有的自身特點，并在單用戶導航模型的基礎上，建立和完善了協同導航模型的框架。同時作者在分析了智能體導航控制的基礎上，根據CVE協同導航模型

3、與強化學習理論模型的相似性，將強化學習應用到協同虛擬環(huán)境中智能體導航控制上，并重點研究了基于Q—學習的導航知識獲取算法。為了改善該算法在協同導航控制中的應用效果，本文提出一種基于最優(yōu)路徑的Q—學習算法，將虛擬環(huán)境中移動的智能體與目標之間的絕對距離量化成強化學習中的狀態(tài)函數，并通過前后狀態(tài)的比較，使得每次狀態(tài)/動作對的選擇都能達到靠近目標位置的目的，另外，將多個智能體的學習成果進行共享，加強各個智能體對環(huán)境信息的感知，使其能更快學習到正確