強(qiáng)化學(xué)習(xí)及其在城市交通信號(hào)控制中的應(yīng)用研究.pdf

1、交通擁堵已經(jīng)成為現(xiàn)代社會(huì)中城市及其周?chē)鷧^(qū)域普遍存在的問(wèn)題而且越來(lái)越嚴(yán)重，交通信號(hào)控制作為調(diào)節(jié)交通網(wǎng)絡(luò)中交通流的主要方式，所以?xún)?yōu)化交通信號(hào)控制是解決交通擁堵問(wèn)題行之有效的方法。由于交通流具有高度的動(dòng)態(tài)性和隨機(jī)性，又因?yàn)榻煌ㄐ盘?hào)控制問(wèn)題本身是一個(gè)順序決策問(wèn)題，所以將強(qiáng)化學(xué)習(xí)應(yīng)用到交通流控制是較合適的。將交通信號(hào)控制系統(tǒng)看成交通網(wǎng)絡(luò)中所有交叉口控制器Agent組成的分布式的多 Agent系統(tǒng)，并將強(qiáng)化學(xué)習(xí)方法應(yīng)用到這個(gè)多 Agent系統(tǒng)，設(shè)計(jì)

2、并開(kāi)發(fā)基于強(qiáng)化學(xué)習(xí)的交通信號(hào)控制方法來(lái)實(shí)現(xiàn)自適應(yīng)交通控制是解決交通擁擠和交通擁堵的主要方法之一。
　　在本文的研究中，首先，對(duì)基于模型的強(qiáng)化學(xué)習(xí)在交通信號(hào)控制中的應(yīng)用進(jìn)行了探索和研究。本文改進(jìn) TC1交通信號(hào)控制方法而給出了TCSG交通信號(hào)控制方法。TCSG方法通過(guò)考慮車(chē)輛長(zhǎng)度進(jìn)而合理計(jì)算車(chē)輛的目的車(chē)道的擁堵信息實(shí)現(xiàn)了多個(gè)交叉口控制器 Agent的協(xié)作。通過(guò)在GLD中進(jìn)行大量的仿真實(shí)驗(yàn)表明，TCSG方法優(yōu)于TC1方法。
　　

3、其次，對(duì)模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)在交通信號(hào)控制中的應(yīng)用進(jìn)行了探索和研究。設(shè)計(jì)和實(shí)現(xiàn)了DMFQ交通信號(hào)控制方法、QSGWE交通信號(hào)控制方法、DMFQV交通信號(hào)控制方法，DMFS交通信號(hào)控制方法和SSGWE交通信號(hào)控制方法，它們都采用基于車(chē)輛的建模方法來(lái)解決以前的基于模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)的交通信號(hào)控制方法的狀態(tài)空間爆炸問(wèn)題，實(shí)現(xiàn)了多交叉口控制器 Agent的共享協(xié)作，采用“等待投票機(jī)制”預(yù)測(cè)并選擇每個(gè)交叉口控制器 Agent的最優(yōu)動(dòng)作。在GLD中進(jìn)