非線性優(yōu)化問題的一類無記憶非擬牛頓算法研究.pdf

1、對于非線性優(yōu)化問題尋找快速有效的算法一直是優(yōu)化專家們研究的熱門方向之一.經(jīng)理論證明和實(shí)踐檢驗(yàn)，擬牛頓法和共軛梯度法已經(jīng)成為無約束下最優(yōu)化方法中最有效的兩類算法.前者具有許多優(yōu)點(diǎn)，比如，迭代中僅需一階導(dǎo)數(shù)不必計算Hessian矩陣，當(dāng)Hk正定時，算法產(chǎn)生的方向均為下降方向，并且這類算法具有二次終止性，在一定的條件下，文[11，25，26，27，28]等給出了除DFP算法外的Broyden族算法的超線性收斂性，而且還具有n步二階收斂速率.擬

2、牛頓算法的缺點(diǎn)是所需存儲量較大，對于大型問題，可能遇到存儲方面的困難.共扼梯度法的基本思想是把共軛性與最速下降方法相結(jié)合，具有占用內(nèi)存少，二次終止性和良好的數(shù)值表現(xiàn).然而當(dāng)目標(biāo)函數(shù)為一般的非線性函數(shù)時，即使在精確線搜索下，各共軛梯度法的收斂性也很難保證.考慮到以上兩種算法的優(yōu)缺點(diǎn)，文[3]給出了無約束優(yōu)化的一類無記憶擬牛頓算法.較求解無約束優(yōu)化問題的共軛梯度法，無記憶擬牛頓法無論在內(nèi)存還是每次迭代的計算量都沒有增加多少，但其計算表現(xiàn)比共

3、軛梯度法好得多.本文基于非擬Newton方程，結(jié)合文[3]中的無記憶擬牛頓法，給出了求解無約束非線性優(yōu)化問題的一類新算法.數(shù)值實(shí)驗(yàn)表明，此類算法具有良好的計算效能，特別適合求解大規(guī)模的最優(yōu)化問題. 在第一章我們首先簡要的介紹了最優(yōu)化問題的提出以及判斷最優(yōu)解常用的最優(yōu)性條件，回顧了無約束優(yōu)化問題常用的幾類導(dǎo)數(shù)下降類算法. 在第二章中，就無記憶擬牛頓族在無約束最優(yōu)化問題上，采用非單調(diào)線搜索下是否具有全局收斂性進(jìn)行了研究.在目