基于近似動態(tài)規(guī)劃的優(yōu)化控制方法及在自主駕駛車輛中的應(yīng)用.pdf

1、近年來，隨著工程應(yīng)用范圍的擴大，近似動態(tài)規(guī)劃（Approximate dynamic programming，ADP）方法越來越多的被用于求解各種復(fù)雜的優(yōu)化決策問題。如何提高近似動態(tài)規(guī)劃方法的泛化能力和實時優(yōu)化能力是本文的基礎(chǔ)理論研究。另一方面，在國家自然科學(xué)基金重大研究計劃重點資助項目的支持下，重點研究了自主車在不同道路形狀和車速下基于近似動態(tài)規(guī)劃的側(cè)向控制方法。
　　論文的主要工作成果和創(chuàng)新點如下：
　?。?）針對傳統(tǒng)近

2、似動態(tài)規(guī)劃方法存在學(xué)習(xí)效率低、特征選擇困難的問題，提出了基于核的近似動態(tài)規(guī)劃（Kernel-based ADP，KADP）方法。該方法采用稀疏核方法來構(gòu)建基函數(shù)，并使用遞推最小二乘時域差分算法來進行評價器的學(xué)習(xí)。理論分析表明由于稀疏核方法具有良好的表示學(xué)習(xí)和泛化能力，新方法中的評價器能夠獲得更小的逼近誤差以及更快的收斂速度。對倒立擺系統(tǒng)的仿真與實驗結(jié)果表明相對于傳統(tǒng)的近似動態(tài)規(guī)劃方法，新方法能夠獲得更優(yōu)的控制性能和約30％的收斂速度提升

3、。
　?。?）提出了基于圖拉普拉斯的近似動態(tài)規(guī)劃（Graph Laplacian-based ADP，GL-ADP）方法。該方法將流形學(xué)習(xí)與近似動態(tài)規(guī)劃相結(jié)合，利用圖拉普拉斯算子進行基函數(shù)的構(gòu)建，并采用遞推最小二乘時域差分算法訓(xùn)練評價器。理論分析表明雖然GL-ADP的計算復(fù)雜性通常要高于KADP，但是避免了人工經(jīng)驗選取核函數(shù)類型與參數(shù)的問題。對連續(xù)攪拌釜式反應(yīng)器和板球系統(tǒng)的仿真結(jié)果表明新方法能夠獲得優(yōu)于傳統(tǒng)近似動態(tài)規(guī)劃方法的控制性

4、能；此外相比于KADP方法，雖然計算代價有所提高，但是收斂速度和控制性能分別提升了約18%和2%。
　?。?）提出了針對離散時間系統(tǒng)的滾動時域近似動態(tài)規(guī)劃（Receding horizon ADP，RHADP）優(yōu)化控制方法。該方法在每個預(yù)測時域內(nèi)均采用有限時域的近似動態(tài)規(guī)劃方法求解閉環(huán)的最優(yōu)控制策略，并且其收斂性和受控系統(tǒng)的穩(wěn)定性均得到證明。此外，分析結(jié)果表明新方法的計算復(fù)雜性為O(N2)，而采用內(nèi)點法作為優(yōu)化方法的非線性模型預(yù)測

5、控制方法的計算復(fù)雜性為O(N3L)。對移動機器人的軌跡跟蹤問題和Van der pol振蕩器控制問題的仿真研究結(jié)果表明，新方法能夠獲得優(yōu)于采用內(nèi)點法作為優(yōu)化方法的非線性模型預(yù)測控制方法的控制性能，并且計算代價也明顯降低。
　?。?）提出了一種自適應(yīng)的自主車側(cè)向控制方法。首先建立了自主車側(cè)向控制問題的馬爾可夫決策過程模型，然后采用基于核的對偶啟發(fā)式規(guī)劃（Kernel-baseddual heuristic programming，K

6、DHP）算法來求取該控制問題的閉環(huán)最優(yōu)策略。由于KDHP算法具有良好的自優(yōu)化和泛化能力，因此有利于控制器在不同的道路形狀及車速條件下獲得較高的控制精度。在總里程約為200km的實車實驗中（包括大曲率路徑，校園道路，城市道路和高速公路），平均側(cè)向誤差約為0.18m，并且在某些條件下能夠獲得比已在車上使用的基于預(yù)瞄和運動學(xué)模型的反饋控制方法更高的控制精度，同時也避免了在拐大彎時誤“抄近道”的問題。
　　本文的研究成果已用于項目的自主駕