非線性優(yōu)化問題的一類共軛梯度算法研究.pdf

1、對(duì)于非線性優(yōu)化問題尋找快速有效的算法一直是優(yōu)化專家們研究的熱門方向之一．經(jīng)理論證明和實(shí)踐檢驗(yàn)，在所有需要計(jì)算導(dǎo)數(shù)的優(yōu)化方法中，最速下降法是最簡(jiǎn)單的，但它速度太慢；擬牛頓方法收斂速度較快，被廣泛認(rèn)為是非線性優(yōu)化最有效的方法之一； 1964年Fletcher和Reeves提出了求解無(wú)約束極小化問題的共軛梯度法<'[1]>,它是直接由Hesteness和Stiefel解線性方程組的共軛梯度法發(fā)展而來的，共軛梯度法具有占用內(nèi)存少，二次終止性和良

2、好的數(shù)值表現(xiàn)等優(yōu)點(diǎn)，它的基本思想是把共軛性與最速下降方法相結(jié)合，經(jīng)常用來解決大規(guī)模問題．然而當(dāng)目標(biāo)函數(shù)為一般的非線性函數(shù)時(shí)，即使在精確線搜索下，各共軛梯度法的收斂性也很難保證．在文獻(xiàn)[2]中Al-Baali證明了Fletcher-Reeves方法具有全局收斂性，文獻(xiàn)[5]推廣上述結(jié)果到非精確搜索即強(qiáng)wolfe線搜索的情形，但因其可能連續(xù)產(chǎn)生小步長(zhǎng)的性質(zhì)使得FR方法在數(shù)值計(jì)算中有時(shí)表現(xiàn)很差：PRP和HS方法是數(shù)值表現(xiàn)較好的兩種軛共梯度算法

3、，但是Powell在[3]中指出，即使使用精確線搜索Plak-Ribière-Polyak方法也不會(huì)有全局收斂性，但此方法具有良好的數(shù)值表現(xiàn)(詳見[13，19，33])．隨后有許多學(xué)者對(duì)這些算法的全局收斂性做了更深刻的研究， 1997年L．Grippo和S．Lucidi提出了 Grippo-Lucidi線搜索，并證明了在此線搜索下Plak-Ribière-Polyak方法的全局收斂性(參見[27，28])．1995年戴或虹和袁亞湘提出了

4、DY法，并對(duì)這一方法的全局收斂性和內(nèi)在性質(zhì)做了詳細(xì)的研究．DY方法具有很好的收斂性，Dai在文獻(xiàn)[10]中系統(tǒng)的介紹了DY方法在一般線搜索下的全局收斂性，但其數(shù)值表現(xiàn)一般．為尋求既能保證具有較好收斂性質(zhì)又具有良好數(shù)值表現(xiàn)的共軛梯度類算法，在前述文獻(xiàn)的基礎(chǔ)上本文給出了求解無(wú)約束非線性優(yōu)化問題的一類新的共軛梯度算法．?dāng)?shù)值實(shí)驗(yàn)表明此類算法是有效的． 論文整體安排如下： 在第一章中，我們首先簡(jiǎn)要介紹了最優(yōu)化問題的提出以及判斷最優(yōu)