基于強化學習的城市交通信號控制方法研究.pdf

1、交通擁堵已經(jīng)成為現(xiàn)代社會尤其是大城市普遍存在的問題。交通信號控制是調(diào)節(jié)交通網(wǎng)絡(luò)中交通流的主要方式之一，因此改善和優(yōu)化交通信號控制方法是解決交通擁堵問題行之有效的方法。交通信號控制問題從根本上來說是一個順序決策問題。強化學習中智能體通過試錯法不斷地與環(huán)境交互來改善自身行為，將強化學習應(yīng)用于交通信號控制已經(jīng)成為一個研究熱點。設(shè)計并開發(fā)基于強化學習的交通信號控制方法實現(xiàn)自適應(yīng)交通控制是解決交通擁擠和交通擁堵的主要方法之一。
　　在本文的

2、研究中，首先，對基于模型的強化學習在交通信號控制中的應(yīng)用進行了探索和研究。針對TC-GAC(Traffic Controller with Gain Adapted by Congestion)交通信號控制方法中只考慮局部擁堵因子的缺陷，引入了車輛目的車道的全局擁堵因子，實現(xiàn)了多交叉口控制器 Agent之間的簡單協(xié)作。通過在仿真軟件GLD(Green Light District)中進行大量的仿真實驗表明，基于全局擁堵因子的方法優(yōu)于 T

3、C-GAC方法。其次，由于強化學習迭代求解的過程極為耗時，本文考慮將啟發(fā)式強化學習用于交通信號控制問題。通過啟發(fā)式函數(shù)來引導狀態(tài)動作空間的探索，加快學習速度，改善動作選擇策略。大量實驗表明，基于啟發(fā)式強化學習的交通信號控制方法優(yōu)于TC1方法。在前面的方法中，交叉口控制器僅僅單獨地選擇局部最優(yōu)的動作，并不與其他交叉口控制器進行協(xié)作或只進行簡單的協(xié)作。最后，本文給出了一種改進的基于信號燈-交叉口聯(lián)合動作的協(xié)作圖模型并將其用于交通建模。通過M