基于增強(qiáng)學(xué)習(xí)和車(chē)輛動(dòng)力學(xué)的高速公路自主駕駛研究.pdf

1、在高速公路自主駕駛問(wèn)題研究中，由于實(shí)車(chē)試驗(yàn)具有危險(xiǎn)性大、周期長(zhǎng)、價(jià)格昂貴、特殊工況難以實(shí)現(xiàn)等困難，因此建立高速公路環(huán)境中的車(chē)輛動(dòng)力學(xué)仿真模型是十分必要的。又因?yàn)檐?chē)輛自主駕駛過(guò)程中的控制與決策問(wèn)題是一個(gè)具有大規(guī)模連續(xù)空間以及多個(gè)優(yōu)化目標(biāo)的復(fù)雜序貫決策問(wèn)題，利用傳統(tǒng)的動(dòng)態(tài)規(guī)劃方法難以求解，所以采用機(jī)器學(xué)習(xí)的方式來(lái)解決該問(wèn)題已成為自主駕駛的一個(gè)重要研究方向。本文的研究工作是在國(guó)家自然科學(xué)基金項(xiàng)目“高速公路車(chē)輛智能駕駛中的關(guān)鍵科學(xué)問(wèn)題研究”、“

2、基于核的增強(qiáng)學(xué)習(xí)與近似動(dòng)態(tài)規(guī)劃方法研究”和“結(jié)構(gòu)化增強(qiáng)學(xué)習(xí)及其在虛擬人運(yùn)動(dòng)規(guī)劃中的應(yīng)用”的支持下，研究用于求解具有大規(guī)模連續(xù)空間以及多個(gè)優(yōu)化目標(biāo)的增強(qiáng)學(xué)習(xí)算法和理論，高速公路環(huán)境中的車(chē)輛動(dòng)力學(xué)仿真建模方法和高速公路自主駕駛中的優(yōu)化控制與決策方法。
　　本研究主要內(nèi)容包括：⑴在高速公路自主駕駛研究中，由于控制與決策問(wèn)題具有連續(xù)狀態(tài)空間的特性，研究了具有連續(xù)狀態(tài)空間的增強(qiáng)學(xué)習(xí)問(wèn)題。在基于核的最小二乘策略迭代（KLSPI）算法中，為了通

3、過(guò)改善核稀疏化過(guò)程來(lái)提高值函數(shù)的逼近能力和降低算法的計(jì)算代價(jià)，本文提出了基于改進(jìn)核稀疏化過(guò)程的離線KLSPI算法；為了通過(guò)嵌入主動(dòng)的樣本采集策略來(lái)加速KLSPI算法的收斂性，提出了基于主動(dòng)采樣的在線KLSPI算法。對(duì)應(yīng)的仿真測(cè)試結(jié)果驗(yàn)證了新方法的有效性。⑵在高速公路自主駕駛研究中，由于控制與決策問(wèn)題具有連續(xù)行為空間的特性，研究了具有連續(xù)行為空間的增強(qiáng)學(xué)習(xí)問(wèn)題，提出了連續(xù)動(dòng)作近似策略迭代（CAPI）算法。該算法在時(shí)域差值（TD）算法估計(jì)值

4、函數(shù)的基礎(chǔ)上，應(yīng)用快速策略搜索方法在連續(xù)行為空間中搜索最優(yōu)動(dòng)作，它具有計(jì)算效率高、易于實(shí)現(xiàn)的特點(diǎn)。為了進(jìn)一步提高CAPI算法的泛化能力和學(xué)習(xí)效率，本文又在該算法中嵌入了一種自適應(yīng)基函數(shù)篩選方法，它能夠篩選出更能有效逼近行為值函數(shù)的基函數(shù)。對(duì)應(yīng)的仿真測(cè)試結(jié)果驗(yàn)證了新方法的有效性。⑶針對(duì)增強(qiáng)學(xué)習(xí)中的值函數(shù)逼近問(wèn)題，結(jié)合結(jié)構(gòu)化的思想，提出了一種新的基于二叉樹(shù)空間分解的結(jié)構(gòu)化近似策略迭代（HAPI）算法。該算法首先在原始馬氏決策過(guò)程（MDP）的

5、狀態(tài)空間中收集樣本，而后應(yīng)用二叉樹(shù)空間分解策略對(duì)原始MDP進(jìn)行分解，然后再利用對(duì)應(yīng)的樣本子集合和近似策略迭代（API）算法在子 MDP上逼近局部最優(yōu)策略。由于該算法將原始 MDP分解成為具有二叉樹(shù)結(jié)構(gòu)的各子MDP，所以它降低了問(wèn)題的復(fù)雜度，能夠獲得較高的值函數(shù)逼近精度。因?yàn)榫植坎呗缘母纳?，組合起來(lái)的全局策略也將優(yōu)于在原始MDP上直接使用API算法得到的策略。MDP鏈問(wèn)題的仿真測(cè)試結(jié)果和P3-AT型移動(dòng)機(jī)器人的路徑跟蹤實(shí)驗(yàn)結(jié)果驗(yàn)證了在相同

6、樣本和基函數(shù)的條件下，HAPI算法與API算法相比較，能夠得到更優(yōu)的近似最優(yōu)策略。⑷針對(duì)高速公路自主駕駛決策的多目標(biāo)特性，研究了具有多個(gè)優(yōu)化目標(biāo)的增強(qiáng)學(xué)習(xí)問(wèn)題，提出了求解多目標(biāo)增強(qiáng)學(xué)習(xí)（MORL）問(wèn)題的基本框架以及基于序貫加權(quán)和MORL算法。深海尋寶問(wèn)題的仿真測(cè)試結(jié)果驗(yàn)證了基于序貫加權(quán)和MORL算法能夠克服基于加權(quán)和MORL算法和基于序貫MORL算法的缺點(diǎn)，它既能夠選擇位于Pareto前沿中的凹區(qū)域策略，又能夠優(yōu)化所有優(yōu)化目標(biāo)的加權(quán)和。

7、⑸針對(duì)高速公路環(huán)境中的車(chē)輛動(dòng)力學(xué)特性，結(jié)合統(tǒng)一指數(shù)輪胎模型、道路模型、質(zhì)量-彈簧-阻尼模型，以及基于數(shù)據(jù)驅(qū)動(dòng)方式的驅(qū)動(dòng)-制動(dòng)模型，建立了高速公路環(huán)境中的車(chē)輛動(dòng)力學(xué)仿真模型，為高速公路環(huán)境中的車(chē)輛自主駕駛技術(shù)的研究提供了方便有效的仿真工具。紅旗HQ430的實(shí)車(chē)實(shí)驗(yàn)結(jié)果顯示了仿真模型數(shù)據(jù)與實(shí)車(chē)試驗(yàn)數(shù)據(jù)基本吻合，即該模型能夠反映實(shí)際車(chē)輛的動(dòng)態(tài)特性。⑹針對(duì)高速公路環(huán)境中的匯入車(chē)流問(wèn)題，研究了該過(guò)程中避免發(fā)生碰撞事故的條件，然后通過(guò)分析周?chē)h(huán)境車(chē)

8、輛的行駛特性和利用紅旗HQ430的仿真模型獲得了滿足安全條件的前向最短安全距離和后向最短安全距離，從而得到了紅旗HQ430匯入車(chē)流過(guò)程的起始時(shí)刻最短安全距離。最短安全距離的獲取為自主車(chē)的安全駕駛以及駕駛員的變道安全性判斷和預(yù)警分析提供了重要的依據(jù)。⑺針對(duì)基于增強(qiáng)學(xué)習(xí)的高速公路自主駕駛問(wèn)題，利用CAPI算法對(duì)紅旗HQ430的縱向速度控制進(jìn)行了優(yōu)化，然后利用基于序貫加權(quán)和MORL算法獲得了自主車(chē)在高速公路環(huán)境中的自主駕駛策略。紅旗HQ430