基于增強學習和車輛動力學的高速公路自主駕駛研究.pdf

1、在高速公路自主駕駛問題研究中，由于實車試驗具有危險性大、周期長、價格昂貴、特殊工況難以實現(xiàn)等困難，因此建立高速公路環(huán)境中的車輛動力學仿真模型是十分必要的。又因為車輛自主駕駛過程中的控制與決策問題是一個具有大規(guī)模連續(xù)空間以及多個優(yōu)化目標的復(fù)雜序貫決策問題，利用傳統(tǒng)的動態(tài)規(guī)劃方法難以求解，所以采用機器學習的方式來解決該問題已成為自主駕駛的一個重要研究方向。本文的研究工作是在國家自然科學基金項目“高速公路車輛智能駕駛中的關(guān)鍵科學問題研究”、“

2、基于核的增強學習與近似動態(tài)規(guī)劃方法研究”和“結(jié)構(gòu)化增強學習及其在虛擬人運動規(guī)劃中的應(yīng)用”的支持下，研究用于求解具有大規(guī)模連續(xù)空間以及多個優(yōu)化目標的增強學習算法和理論，高速公路環(huán)境中的車輛動力學仿真建模方法和高速公路自主駕駛中的優(yōu)化控制與決策方法。
　　本研究主要內(nèi)容包括：⑴在高速公路自主駕駛研究中，由于控制與決策問題具有連續(xù)狀態(tài)空間的特性，研究了具有連續(xù)狀態(tài)空間的增強學習問題。在基于核的最小二乘策略迭代（KLSPI）算法中，為了通

3、過改善核稀疏化過程來提高值函數(shù)的逼近能力和降低算法的計算代價，本文提出了基于改進核稀疏化過程的離線KLSPI算法；為了通過嵌入主動的樣本采集策略來加速KLSPI算法的收斂性，提出了基于主動采樣的在線KLSPI算法。對應(yīng)的仿真測試結(jié)果驗證了新方法的有效性。⑵在高速公路自主駕駛研究中，由于控制與決策問題具有連續(xù)行為空間的特性，研究了具有連續(xù)行為空間的增強學習問題，提出了連續(xù)動作近似策略迭代（CAPI）算法。該算法在時域差值（TD）算法估計值

4、函數(shù)的基礎(chǔ)上，應(yīng)用快速策略搜索方法在連續(xù)行為空間中搜索最優(yōu)動作，它具有計算效率高、易于實現(xiàn)的特點。為了進一步提高CAPI算法的泛化能力和學習效率，本文又在該算法中嵌入了一種自適應(yīng)基函數(shù)篩選方法，它能夠篩選出更能有效逼近行為值函數(shù)的基函數(shù)。對應(yīng)的仿真測試結(jié)果驗證了新方法的有效性。⑶針對增強學習中的值函數(shù)逼近問題，結(jié)合結(jié)構(gòu)化的思想，提出了一種新的基于二叉樹空間分解的結(jié)構(gòu)化近似策略迭代（HAPI）算法。該算法首先在原始馬氏決策過程（MDP）的

5、狀態(tài)空間中收集樣本，而后應(yīng)用二叉樹空間分解策略對原始MDP進行分解，然后再利用對應(yīng)的樣本子集合和近似策略迭代（API）算法在子 MDP上逼近局部最優(yōu)策略。由于該算法將原始 MDP分解成為具有二叉樹結(jié)構(gòu)的各子MDP，所以它降低了問題的復(fù)雜度，能夠獲得較高的值函數(shù)逼近精度。因為局部策略的改善，組合起來的全局策略也將優(yōu)于在原始MDP上直接使用API算法得到的策略。MDP鏈問題的仿真測試結(jié)果和P3-AT型移動機器人的路徑跟蹤實驗結(jié)果驗證了在相同

6、樣本和基函數(shù)的條件下，HAPI算法與API算法相比較，能夠得到更優(yōu)的近似最優(yōu)策略。⑷針對高速公路自主駕駛決策的多目標特性，研究了具有多個優(yōu)化目標的增強學習問題，提出了求解多目標增強學習（MORL）問題的基本框架以及基于序貫加權(quán)和MORL算法。深海尋寶問題的仿真測試結(jié)果驗證了基于序貫加權(quán)和MORL算法能夠克服基于加權(quán)和MORL算法和基于序貫MORL算法的缺點，它既能夠選擇位于Pareto前沿中的凹區(qū)域策略，又能夠優(yōu)化所有優(yōu)化目標的加權(quán)和。

7、⑸針對高速公路環(huán)境中的車輛動力學特性，結(jié)合統(tǒng)一指數(shù)輪胎模型、道路模型、質(zhì)量-彈簧-阻尼模型，以及基于數(shù)據(jù)驅(qū)動方式的驅(qū)動-制動模型，建立了高速公路環(huán)境中的車輛動力學仿真模型，為高速公路環(huán)境中的車輛自主駕駛技術(shù)的研究提供了方便有效的仿真工具。紅旗HQ430的實車實驗結(jié)果顯示了仿真模型數(shù)據(jù)與實車試驗數(shù)據(jù)基本吻合，即該模型能夠反映實際車輛的動態(tài)特性。⑹針對高速公路環(huán)境中的匯入車流問題，研究了該過程中避免發(fā)生碰撞事故的條件，然后通過分析周圍環(huán)境車

8、輛的行駛特性和利用紅旗HQ430的仿真模型獲得了滿足安全條件的前向最短安全距離和后向最短安全距離，從而得到了紅旗HQ430匯入車流過程的起始時刻最短安全距離。最短安全距離的獲取為自主車的安全駕駛以及駕駛員的變道安全性判斷和預(yù)警分析提供了重要的依據(jù)。⑺針對基于增強學習的高速公路自主駕駛問題，利用CAPI算法對紅旗HQ430的縱向速度控制進行了優(yōu)化，然后利用基于序貫加權(quán)和MORL算法獲得了自主車在高速公路環(huán)境中的自主駕駛策略。紅旗HQ430