擬牛頓法及其收斂性.pdf

1、本文，我們首先提出一種求解單調(diào)非線性方程組的正則化的BFGS算法和L-BFGS算法，在不假設(shè)方程組的Jacobian矩陣非奇異的條件下得到了這兩種方法的全局收斂性.這些方法的一個(gè)顯著優(yōu)點(diǎn)是迭代點(diǎn)到解集的距離單調(diào)遞減.此外，本文算法的全局收斂性證明不需要假設(shè)方程可微，因而能夠用于求解非光滑的非線性方程組.與Gauss-Newton型BFGS算法相比較，本文算法中的迭代矩陣的條件數(shù)要小很多.而且，所提出的L-BFGS方法適合大規(guī)模非線性方程

2、組的求解.我們還對這兩個(gè)算法進(jìn)行了數(shù)值實(shí)驗(yàn)，結(jié)果表明它們非常有效. 為了求解大型的一般的非線性方程組，基于Li和Fukushima的Gauss-Newton型BFGS公式，我們在第3章提出了一種非單調(diào)的譜梯度方法并建立了算法的全局收斂性定理.本文的方法是求解無約束最優(yōu)化問題的譜梯度方法在求解非線性方程組中的一種推廣. 其次，我們在第4章提出一種非單調(diào)的Armijo線性搜索技術(shù)并證明MBFGS方法和CBFGS方法在此搜索下

3、求解非凸函數(shù)極小化問題的全局收斂性.在不假設(shè)迭代矩陣序列有界的前提下建立算法的全局收斂性定理.數(shù)值結(jié)果表明，采用非單調(diào)搜索的MBFGS方法比單調(diào)的BFGS方法的數(shù)值效果明顯要好. 在第5章，我們提出一種求解無約束優(yōu)化問題的非單調(diào)的BFGS信賴域方法并證明該方法求解非凸極小化問題的全局收斂性.該算法的優(yōu)點(diǎn)是信賴域子問題的目標(biāo)函數(shù)是一個(gè)嚴(yán)格凸二次函數(shù)，因而信賴域子問題的求解相對容易.而且，我們在不假設(shè)迭代矩陣序列有界的前提下建立算法

4、的全局收斂性定理.在第6章，利用MBFGS割線條件，我們提出一種求解無約束優(yōu)化問題的下降的非線性共軛梯度法并證明該方法求解非凸極小化問題的全局收斂性.該方法的一個(gè)優(yōu)點(diǎn)是能產(chǎn)生不依賴線性搜索的充分下降方向. 在第7章，我們提出一種求解二階錐互補(bǔ)問題(SOCCP)的光滑化的Broyden方法.利用超平面投影方法的思想，我們還提出一種求解SOCCP問題的投影牛頓法，在適當(dāng)?shù)臈l件下證明算法的全局收斂性. 最后我們研究Broyde