最優(yōu)化問題的記憶預(yù)測方法研究.pdf

1、本文主要研究最優(yōu)化問題的記憶預(yù)測方法.全文共分四章. 第一章，主要介紹了最優(yōu)化問題的記憶預(yù)測方法研究現(xiàn)狀以及本文的主要研究成果. 第二章，考慮無約束最優(yōu)化問題，Shi(2003)提出了一種新的記憶梯度法，并證明了其在精確線性搜索下的全局收斂性.精確一維搜索方法往往需要花費很大的工作量，特別是當(dāng)?shù)c遠離問題的解時，精確地求解—個一維子問題通常不是十分有效的.本文修改了原算法中的參數(shù)，即在方向dκ中取βκ=ρ‖gκ‖2/‖

2、gκ‖2-σgTκ-1dκ-1，并證明了新算法在強Wolfe準(zhǔn)則下同樣具有全局收斂性和線性收斂速率. 第三章，主要研究一種新的求解無約束最優(yōu)化問題的記憶梯度法.該方法的主要特點是：(1)在每步迭代中，僅用到目標(biāo)函數(shù)及其梯度的信息以及函數(shù)值信息，無須計算二階導(dǎo)數(shù)以及矩陣，計算公式簡單，比之其他優(yōu)化算法具有盡可能少的存貯量和計算工作量，適合求解較大規(guī)模的優(yōu)化問題.(2)搜索方向dκ中的參數(shù)βκ的形式雖然與共軛梯度法中Doxin公式相

3、似，但新算法在強wolfe線性搜索下具有全局收斂性，而[16]中作者已證明在共軛梯度法中，βκ若采用Doxin公式，則強Wolfe線性搜索不能保證其具有全局收斂性.數(shù)值試驗表明新算法是很有效的. 第四章，考慮無約束最優(yōu)化問題，我們提出一種新的記憶預(yù)測方法.新算法在迭代過程中無需對步長進行線性搜索，僅需對算法中的一些參數(shù)進行預(yù)測估計，使算法具有全局收斂性，減少了目標(biāo)函數(shù)以及梯度的迭代次數(shù)，從而降低了算法的計算量和存儲量.此外，算法