求解一類非光滑優(yōu)化問題的廣義神經(jīng)網(wǎng)絡(luò)方法.pdf

1、最優(yōu)化問題源于軍事、管理、經(jīng)濟和工程技術(shù)等領(lǐng)域中,解決此類問題的方法在圖像處理、通信、設(shè)計操作過程、生產(chǎn)裝置分析、經(jīng)濟運作決策等方面的應(yīng)用也越來越廣。隨著現(xiàn)代科技的發(fā)展,目前在各領(lǐng)域出現(xiàn)的優(yōu)化問題中,問題的維數(shù)越來越多,而結(jié)構(gòu)也越來越復(fù)雜。這就要求人們能夠提供更有效的數(shù)學模型來求解此類問題。特別是在求解實時解的過程中,當處理具有較高維數(shù)和較復(fù)雜結(jié)構(gòu)的優(yōu)化問題時,我們必須考慮到計算時間。而計算時間是在極大程度上依賴于問題的維數(shù)與結(jié)構(gòu),以及

2、算法的復(fù)雜度。一般來講,因為數(shù)值方法是憑借迭代來計算的,傳統(tǒng)的數(shù)值方法對于解決具有高維數(shù)和較復(fù)雜的問題可能不會很奏效。而神經(jīng)網(wǎng)絡(luò)的出現(xiàn),使得解決此類優(yōu)化問題不再只是依賴于迭代,而是利用神經(jīng)網(wǎng)絡(luò)對于處理此類問題的獨特優(yōu)勢,即,它的自適應(yīng)性和并行性,可以使得計算的速度有很大的提高。最近,利用神經(jīng)網(wǎng)絡(luò)開發(fā)最優(yōu)化問題的算法取得了很大進展,并由此產(chǎn)生了一些神經(jīng)網(wǎng)絡(luò)模型。但這些模型主要集中于光滑優(yōu)化問題的研究,或者將不光滑的目標函數(shù)近似逼近為光滑函

3、數(shù)。近年來,隨著集值映射和非光滑理論的不斷深入研究,應(yīng)用神經(jīng)網(wǎng)絡(luò)方法研究非光滑優(yōu)化問題逐漸受到重視。然而,對于極小極大優(yōu)化問題的研究,目前不只是停留在應(yīng)用數(shù)值方法來研究的程度上。利用神經(jīng)網(wǎng)絡(luò)來探索此類問題最優(yōu)解的方法逐漸地發(fā)揮了它的作用。特別是在微分包含理論和凸分析理論日臻成熟的基礎(chǔ)上,神經(jīng)網(wǎng)絡(luò)逐漸地在非光滑優(yōu)化分析上發(fā)揮了它的價值。
　　 基于以上的分析,本文首先給出了在優(yōu)化方面關(guān)于利用神經(jīng)網(wǎng)絡(luò)方法探究最優(yōu)解的相關(guān)進展,以及非

4、光滑理論和凸分析理論的相關(guān)概念和引理;其次,介紹了三種廣義神經(jīng)網(wǎng)絡(luò)方法,并研究了如何求解一類無約束的極小極大優(yōu)化問題,帶線性等式約束的極小極大優(yōu)化問題,還探索了如何利用投影神經(jīng)網(wǎng)絡(luò)來求解一類非光滑優(yōu)化問題。具體內(nèi)容為:
　　 (1)、求解一類帶有無約束非光滑成本函數(shù)的極小極大問題的廣義神經(jīng)網(wǎng)絡(luò)。主要是利用微分包含理論,穩(wěn)定性理論和推廣的Lojasiewicz不等式來研究了一類帶有無約束的,次解析的,凸的成本函數(shù)的優(yōu)化問題,并且討

5、論了此類廣義神經(jīng)網(wǎng)絡(luò)理論結(jié)果的有效性。
　　 (2)、求解一類帶線性等式約束的極小極大問題的廣義神經(jīng)網(wǎng)絡(luò)。在帶有線性等式約束的情況下,利用投影神經(jīng)網(wǎng)絡(luò),微分包含理論和穩(wěn)定性理論來構(gòu)造一種廣義神經(jīng)網(wǎng)絡(luò),探索求解帶線性等式約束的極小極大優(yōu)化問題的方法,并且給出了此類廣義神經(jīng)網(wǎng)絡(luò)理論結(jié)果的有效性證明。
　　 (3)、基于投影的廣義神經(jīng)網(wǎng)絡(luò)的收斂性及其在非光滑優(yōu)化問題中的應(yīng)用。投影神經(jīng)網(wǎng)絡(luò)在解決光滑優(yōu)化問題中發(fā)揮了重要的作用,而