基于強(qiáng)化學(xué)習(xí)的城市交通信號(hào)控制方法研究.pdf

1、交通擁堵已經(jīng)成為現(xiàn)代社會(huì)尤其是大城市普遍存在的問(wèn)題。交通信號(hào)控制是調(diào)節(jié)交通網(wǎng)絡(luò)中交通流的主要方式之一，因此改善和優(yōu)化交通信號(hào)控制方法是解決交通擁堵問(wèn)題行之有效的方法。交通信號(hào)控制問(wèn)題從根本上來(lái)說(shuō)是一個(gè)順序決策問(wèn)題。強(qiáng)化學(xué)習(xí)中智能體通過(guò)試錯(cuò)法不斷地與環(huán)境交互來(lái)改善自身行為，將強(qiáng)化學(xué)習(xí)應(yīng)用于交通信號(hào)控制已經(jīng)成為一個(gè)研究熱點(diǎn)。設(shè)計(jì)并開(kāi)發(fā)基于強(qiáng)化學(xué)習(xí)的交通信號(hào)控制方法實(shí)現(xiàn)自適應(yīng)交通控制是解決交通擁擠和交通擁堵的主要方法之一。
　　在本文的

2、研究中，首先，對(duì)基于模型的強(qiáng)化學(xué)習(xí)在交通信號(hào)控制中的應(yīng)用進(jìn)行了探索和研究。針對(duì)TC-GAC(Traffic Controller with Gain Adapted by Congestion)交通信號(hào)控制方法中只考慮局部擁堵因子的缺陷，引入了車輛目的車道的全局擁堵因子，實(shí)現(xiàn)了多交叉口控制器 Agent之間的簡(jiǎn)單協(xié)作。通過(guò)在仿真軟件GLD(Green Light District)中進(jìn)行大量的仿真實(shí)驗(yàn)表明，基于全局擁堵因子的方法優(yōu)于 T

3、C-GAC方法。其次，由于強(qiáng)化學(xué)習(xí)迭代求解的過(guò)程極為耗時(shí)，本文考慮將啟發(fā)式強(qiáng)化學(xué)習(xí)用于交通信號(hào)控制問(wèn)題。通過(guò)啟發(fā)式函數(shù)來(lái)引導(dǎo)狀態(tài)動(dòng)作空間的探索，加快學(xué)習(xí)速度，改善動(dòng)作選擇策略。大量實(shí)驗(yàn)表明，基于啟發(fā)式強(qiáng)化學(xué)習(xí)的交通信號(hào)控制方法優(yōu)于TC1方法。在前面的方法中，交叉口控制器僅僅單獨(dú)地選擇局部最優(yōu)的動(dòng)作，并不與其他交叉口控制器進(jìn)行協(xié)作或只進(jìn)行簡(jiǎn)單的協(xié)作。最后，本文給出了一種改進(jìn)的基于信號(hào)燈-交叉口聯(lián)合動(dòng)作的協(xié)作圖模型并將其用于交通建模。通過(guò)M