微分方程與微分包含的神經(jīng)優(yōu)化理論與算法研究.pdf

1、優(yōu)化問題大量存在于科學(xué)和工程應(yīng)用的許多領(lǐng)域，其中，許多優(yōu)化問題要求對(duì)其進(jìn)行實(shí)時(shí)求解。解決實(shí)時(shí)優(yōu)化問題一個(gè)非常有前途的方法是應(yīng)用基于電路實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)。基于微分包含，Lyapunov方法，矩陣分析，非光滑分析及變分理論，本文研究了四大類優(yōu)化問題，分別構(gòu)造了相應(yīng)的神經(jīng)網(wǎng)絡(luò)，證明了網(wǎng)絡(luò)解的全局存在唯一性及網(wǎng)絡(luò)的穩(wěn)定性，收斂性和精確性，并通過數(shù)值算例說明了網(wǎng)絡(luò)的有效性。所得主要結(jié)果如下：
　　1．研究了瓞“中兩類重要的退化二次優(yōu)化問題

2、。首先，基于Lagrange函數(shù)方法，設(shè)計(jì)可有效求解帶有一般線性約束退化二次凸最小值點(diǎn)問題的神經(jīng)網(wǎng)絡(luò)。此網(wǎng)絡(luò)具有一些很好的性質(zhì)，如完全穩(wěn)定和有限時(shí)間收斂。在收斂速率方面，該網(wǎng)絡(luò)的輸出軌道關(guān)于矩陣Q的非奇異部分是指數(shù)收斂的。同時(shí)，給出了一個(gè)判斷目標(biāo)函數(shù)在約束集上的最小值是否為其在瓞n上最小值的準(zhǔn)則。其次，通過巧妙的分析和變換，把帶有混合線性約束的退化二次鞍點(diǎn)問題轉(zhuǎn)變成一個(gè)與之等價(jià)的退化二次最小值點(diǎn)問題?；谇耙徊糠值睦碚摵头椒ǎ瑯?gòu)造了一個(gè)

3、可有效求解此類鞍點(diǎn)問題的投影神經(jīng)網(wǎng)絡(luò)。并給出了網(wǎng)絡(luò)的完全穩(wěn)定，有限時(shí)間收斂和指數(shù)收斂的證明。另外，設(shè)計(jì)了一個(gè)更為簡單的網(wǎng)絡(luò)求解全局遐化二次凸鞍點(diǎn)問題。
　　2．研究了瓞“中兩類重要的非光滑凸優(yōu)化問題。首先，基于精確的罰函數(shù)方法，構(gòu)造一個(gè)微分包含形式的神經(jīng)網(wǎng)絡(luò)求解一類不僅帶有仿射等式約束而且?guī)в校ǚ枪饣┎坏仁郊s束的非光滑凸最小值點(diǎn)問題。通過對(duì)兩個(gè)參數(shù)的分別控制，證出該網(wǎng)絡(luò)的軌道有限時(shí)間進(jìn)入可行域并永駐其中。然后，應(yīng)用反正法，證出該

4、網(wǎng)絡(luò)的軌道最終收斂于其平衡點(diǎn)集，同時(shí)，我們還給出了一個(gè)使網(wǎng)絡(luò)軌道有限時(shí)間收斂于其平衡點(diǎn)集的條件。網(wǎng)絡(luò)的精確性證明更進(jìn)一步地說明了所構(gòu)造網(wǎng)絡(luò)的優(yōu)越性。其次，構(gòu)造了一個(gè)微分包含形式的神經(jīng)網(wǎng)絡(luò)求解一類帶有混合約束的非光滑凸鞍點(diǎn)問題。基于前一部分工作的理論及方法，證明了此網(wǎng)絡(luò)解的全局存在唯一性，收斂性和精確性。
　　3．研究了瓞”中兩類重要的非光滑非凸優(yōu)化問題。首先，基于罰函數(shù)方法，構(gòu)造一個(gè)僅帶有一個(gè)參數(shù)的網(wǎng)絡(luò)求解一類既帶有仿射等式約束又

5、帶有（非光滑）凸不等式約束的非光滑非凸最小值點(diǎn)問題。通過對(duì)可行域和參數(shù)施加適當(dāng)?shù)目刂?，給出了網(wǎng)絡(luò)解的全局存在性。利用引入弱一單邊Lipschitz條件，證明解具有唯一性。通過對(duì)參數(shù)的控制，使網(wǎng)絡(luò)的軌道有限時(shí)間進(jìn)入可行域并永駐其中。同時(shí)，我們也證出了網(wǎng)絡(luò)的最終收斂性與精確性。為了提高網(wǎng)絡(luò)的可行性，給出了使此網(wǎng)絡(luò)的解恰為其slow解的幾個(gè)條件。如沒有這些結(jié)論，則該網(wǎng)絡(luò)無法在電路，MATLAB或其它數(shù)學(xué)軟件中順利運(yùn)行。其次，構(gòu)造了一個(gè)微分包含

6、形式的神經(jīng)網(wǎng)絡(luò)求解一類帶有混合約束的光滑非凸鞍點(diǎn)問題，不僅給出了網(wǎng)絡(luò)的收斂性和精確性證明，而且給出了它的一個(gè)幾何表達(dá)。
　　前面三部分所得到的理論與算法，我們都分別通過算例說明了算法的具體實(shí)現(xiàn)過程及其算法的有效性。
　　4．研究了Hilbert空間中一類非光滑凸優(yōu)化問題。構(gòu)造一個(gè)微分包含形式的神經(jīng)網(wǎng)絡(luò)求解Hilbert空間中一類帶有一系列（非光滑）不等式約束的非光滑凸最小值點(diǎn)問題，在目標(biāo)函數(shù)，可行域及罰參數(shù)滿足適當(dāng)?shù)臈l件時(shí)，