基于強(qiáng)化學(xué)習(xí)的交通擁堵控制方法研究.pdf

1、由于汽車(chē)保有量的持續(xù)增長(zhǎng),交通擁堵問(wèn)題已經(jīng)成為世界各國(guó)城市發(fā)展中出現(xiàn)的公共問(wèn)題。單純的基礎(chǔ)設(shè)施建設(shè)能夠在一定程度上緩解交通擁堵,但是會(huì)受到成本、土地、時(shí)間等因素的制約。隨著科技的發(fā)展,對(duì)交通環(huán)境所采集到的信息越來(lái)越準(zhǔn)確和全面,同時(shí)由于人工智能算法的不斷研究與發(fā)展,如何智能地緩解城市交通擁堵已經(jīng)成為世界各國(guó)研究的重要課題。
　　強(qiáng)化學(xué)習(xí)常被用于交通控制策略的求解,并且能夠取得較好的控制效果,但在多路口的交通控制中,隨著路口數(shù)量的增多

2、,系統(tǒng)狀態(tài)數(shù)量呈指數(shù)級(jí)別增長(zhǎng),造成系統(tǒng)計(jì)算困難甚至得不到結(jié)果。分層結(jié)合控制是解決狀態(tài)數(shù)量多的典型方法之一,分層結(jié)構(gòu)一般由兩層組成,第一層為路口控制層,第二層為區(qū)域控制層,區(qū)域由路口合并得到,區(qū)域合并結(jié)果的優(yōu)劣將直接影響區(qū)域控制結(jié)果的優(yōu)劣,因此如何合理劃分區(qū)域是利用分層結(jié)合控制必須考慮的問(wèn)題。
　　在多路口的交通控制中,由于路口相互連接,對(duì)單個(gè)路口優(yōu)化時(shí)會(huì)影響到其相鄰路口,因此,對(duì)路口的優(yōu)化必須從全局的角度進(jìn)行考慮,在保證全局最優(yōu)的

3、情況下才能得到路口的具體控制動(dòng)作。路口之間的協(xié)作控制轉(zhuǎn)變?yōu)樵诳紤]路口相互影響的條件下如何求全局最優(yōu)解的問(wèn)題。針對(duì)以上兩個(gè)問(wèn)題,本文提出了改進(jìn)的分層結(jié)合控制方法,主要體現(xiàn)在以下兩個(gè)方面：
　　首先,在分層結(jié)合控制中,區(qū)域控制層中的區(qū)域需要由路口結(jié)合而成,傳統(tǒng)的分區(qū)主要以距離為標(biāo)準(zhǔn),將一定范圍內(nèi)的路口合并成一個(gè)區(qū)域,這種分區(qū)沒(méi)有考慮車(chē)流量變化的影響,不利于區(qū)域間的控制。本文提出了基于改進(jìn)譜聚類(lèi)算法的動(dòng)態(tài)路網(wǎng)分區(qū)方法,能夠根據(jù)距離、車(chē)流

4、量、信號(hào)周期等因素將相似度高的路口合并到一個(gè)區(qū)域,并且能夠根據(jù)車(chē)流量的變化進(jìn)行區(qū)域調(diào)整,能夠更好的為區(qū)域?qū)涌刂谱骱脺?zhǔn)備。
　　然后,將求解全局最優(yōu)的問(wèn)題轉(zhuǎn)化為協(xié)作圖的最優(yōu)解求解問(wèn)題,協(xié)作圖是一種節(jié)點(diǎn)之間有依賴(lài)關(guān)系的無(wú)向圖結(jié)構(gòu),通過(guò)求解協(xié)作圖的全局最優(yōu)解進(jìn)而得到路口相互影響條件下的全局最優(yōu)解,由于協(xié)作圖計(jì)算量大,本文提出了基于訓(xùn)練剪枝的變量消除法用于減少計(jì)算量。通過(guò)與普通分層結(jié)合控制方法仿真實(shí)驗(yàn)比較,本文提出的改進(jìn)的分層結(jié)合控制方法