非線性優(yōu)化問題的一類共軛梯度算法研究.pdf

1、對于非線性優(yōu)化問題尋找快速有效的算法一直是優(yōu)化專家們研究的熱門方向之一．經(jīng)理論證明和實踐檢驗，在所有需要計算導數(shù)的優(yōu)化方法中，最速下降法是最簡單的，但它速度太慢；擬牛頓方法收斂速度較快，被廣泛認為是非線性優(yōu)化最有效的方法之一； 1964年Fletcher和Reeves提出了求解無約束極小化問題的共軛梯度法<'[1]>,它是直接由Hesteness和Stiefel解線性方程組的共軛梯度法發(fā)展而來的，共軛梯度法具有占用內(nèi)存少，二次終止性和良

2、好的數(shù)值表現(xiàn)等優(yōu)點，它的基本思想是把共軛性與最速下降方法相結合，經(jīng)常用來解決大規(guī)模問題．然而當目標函數(shù)為一般的非線性函數(shù)時，即使在精確線搜索下，各共軛梯度法的收斂性也很難保證．在文獻[2]中Al-Baali證明了Fletcher-Reeves方法具有全局收斂性，文獻[5]推廣上述結果到非精確搜索即強wolfe線搜索的情形，但因其可能連續(xù)產(chǎn)生小步長的性質使得FR方法在數(shù)值計算中有時表現(xiàn)很差：PRP和HS方法是數(shù)值表現(xiàn)較好的兩種軛共梯度算法

3、，但是Powell在[3]中指出，即使使用精確線搜索Plak-Ribière-Polyak方法也不會有全局收斂性，但此方法具有良好的數(shù)值表現(xiàn)(詳見[13，19，33])．隨后有許多學者對這些算法的全局收斂性做了更深刻的研究， 1997年L．Grippo和S．Lucidi提出了 Grippo-Lucidi線搜索，并證明了在此線搜索下Plak-Ribière-Polyak方法的全局收斂性(參見[27，28])．1995年戴或虹和袁亞湘提出了

4、DY法，并對這一方法的全局收斂性和內(nèi)在性質做了詳細的研究．DY方法具有很好的收斂性，Dai在文獻[10]中系統(tǒng)的介紹了DY方法在一般線搜索下的全局收斂性，但其數(shù)值表現(xiàn)一般．為尋求既能保證具有較好收斂性質又具有良好數(shù)值表現(xiàn)的共軛梯度類算法，在前述文獻的基礎上本文給出了求解無約束非線性優(yōu)化問題的一類新的共軛梯度算法．數(shù)值實驗表明此類算法是有效的． 論文整體安排如下： 在第一章中，我們首先簡要介紹了最優(yōu)化問題的提出以及判斷最優(yōu)