基于二階導(dǎo)數(shù)的非凸約束優(yōu)化的微分方程方法.pdf

1、本文旨在研究求解非凸約束優(yōu)化問題的基于二階導(dǎo)數(shù)的微分方程方法．原因有三個(gè)：一是很多最優(yōu)化問題的人工神經(jīng)網(wǎng)絡(luò)方法都是由微分方程系統(tǒng)來刻畫的，系統(tǒng)地研究微分方程方法可能為后者提供理論支撐；二是可以把有效的微分方程的數(shù)值解法用于求解非凸約束優(yōu)化問題；三是二階導(dǎo)數(shù)的微分方程方法往往具有快速的收斂性．本文主要研究基于一具體空間變換的微分方程系統(tǒng)，修正的 Evtushenko-Zhadan 系統(tǒng)和基于非線性 Lagrange 函數(shù)的微分方程系統(tǒng)．

2、 取得的結(jié)果可概括如下: 1．第 2 章，基于一具體的空間變換，構(gòu)造求解不等式約束優(yōu)化問題的基于問題函數(shù)的一階導(dǎo)數(shù)和基于二階導(dǎo)數(shù)的微分方程系統(tǒng)．我們證明這兩個(gè)系統(tǒng)具有性質(zhì)：約束優(yōu)化問題的KKT點(diǎn)是它們的漸近穩(wěn)定的平衡點(diǎn)，且當(dāng)初始點(diǎn)是可行點(diǎn)時(shí)，解軌跡將全部落于可行域中．我們還證明了兩個(gè)微分方程系統(tǒng)歐拉離散迭代格式的局部收斂性和基于第二個(gè)系統(tǒng)的離散迭代格式的局部二次收斂性質(zhì)．最后用兩個(gè)離散迭代算法計(jì)算了若干個(gè)算例，數(shù)值結(jié)果表明

3、基于二階導(dǎo)數(shù)系統(tǒng)的算法具有較快的收斂速度． 2．第3章分兩部分．第一部分分別給出求解等式約束優(yōu)化問題的基于問題函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的修正的 Evtushenko-Zhadan 系統(tǒng)，證明了約束優(yōu)化問題的KKT 點(diǎn)是兩個(gè)系統(tǒng)的漸近穩(wěn)定的平衡點(diǎn)；建立了這兩個(gè)系統(tǒng)的Euler離散迭代格式，證明了它們的局部收斂性和基于二階導(dǎo)數(shù)的微分方程系統(tǒng)的歐拉迭代方法的二階收斂性．我們還構(gòu)造了搜索方向由兩個(gè)微分系統(tǒng)計(jì)算，步長采用Armijo線搜索

4、的算法并證明了算法的收斂性．我們用采用Armijo步長的算法和龍格庫塔法求解兩個(gè)微分方程系統(tǒng)計(jì)算若干算例，數(shù)值結(jié)果表明龍格庫塔的微分方程算法具有較好的穩(wěn)定性和更高的精確度，基于二階導(dǎo)數(shù)的微分方程系統(tǒng)的算法具有更快的收斂速度．第二部分討論一般約束的優(yōu)化問題的求解，分別給出基于問題函數(shù)的一階導(dǎo)數(shù)和二階導(dǎo)數(shù)的修正的 Evtushenko-Zhadan 系統(tǒng)，得到第一部分的所有的相應(yīng)結(jié)果． 3．第 4 章，通過一類非線性Lagrange