非線性優(yōu)化問(wèn)題的一類無(wú)記憶非擬牛頓算法研究.pdf

1、對(duì)于非線性優(yōu)化問(wèn)題尋找快速有效的算法一直是優(yōu)化專家們研究的熱門方向之一.經(jīng)理論證明和實(shí)踐檢驗(yàn)，擬牛頓法和共軛梯度法已經(jīng)成為無(wú)約束下最優(yōu)化方法中最有效的兩類算法.前者具有許多優(yōu)點(diǎn)，比如，迭代中僅需一階導(dǎo)數(shù)不必計(jì)算Hessian矩陣，當(dāng)Hk正定時(shí)，算法產(chǎn)生的方向均為下降方向，并且這類算法具有二次終止性，在一定的條件下，文[11，25，26，27，28]等給出了除DFP算法外的Broyden族算法的超線性收斂性，而且還具有n步二階收斂速率.擬

2、牛頓算法的缺點(diǎn)是所需存儲(chǔ)量較大，對(duì)于大型問(wèn)題，可能遇到存儲(chǔ)方面的困難.共扼梯度法的基本思想是把共軛性與最速下降方法相結(jié)合，具有占用內(nèi)存少，二次終止性和良好的數(shù)值表現(xiàn).然而當(dāng)目標(biāo)函數(shù)為一般的非線性函數(shù)時(shí)，即使在精確線搜索下，各共軛梯度法的收斂性也很難保證.考慮到以上兩種算法的優(yōu)缺點(diǎn)，文[3]給出了無(wú)約束優(yōu)化的一類無(wú)記憶擬牛頓算法.較求解無(wú)約束優(yōu)化問(wèn)題的共軛梯度法，無(wú)記憶擬牛頓法無(wú)論在內(nèi)存還是每次迭代的計(jì)算量都沒(méi)有增加多少，但其計(jì)算表現(xiàn)比共

3、軛梯度法好得多.本文基于非擬Newton方程，結(jié)合文[3]中的無(wú)記憶擬牛頓法，給出了求解無(wú)約束非線性優(yōu)化問(wèn)題的一類新算法.數(shù)值實(shí)驗(yàn)表明，此類算法具有良好的計(jì)算效能，特別適合求解大規(guī)模的最優(yōu)化問(wèn)題. 在第一章我們首先簡(jiǎn)要的介紹了最優(yōu)化問(wèn)題的提出以及判斷最優(yōu)解常用的最優(yōu)性條件，回顧了無(wú)約束優(yōu)化問(wèn)題常用的幾類導(dǎo)數(shù)下降類算法. 在第二章中，就無(wú)記憶擬牛頓族在無(wú)約束最優(yōu)化問(wèn)題上，采用非單調(diào)線搜索下是否具有全局收斂性進(jìn)行了研究.在目