最優(yōu)化問(wèn)題的記憶預(yù)測(cè)方法研究.pdf

1、本文主要研究最優(yōu)化問(wèn)題的記憶預(yù)測(cè)方法.全文共分四章. 第一章，主要介紹了最優(yōu)化問(wèn)題的記憶預(yù)測(cè)方法研究現(xiàn)狀以及本文的主要研究成果. 第二章，考慮無(wú)約束最優(yōu)化問(wèn)題，Shi(2003)提出了一種新的記憶梯度法，并證明了其在精確線性搜索下的全局收斂性.精確一維搜索方法往往需要花費(fèi)很大的工作量，特別是當(dāng)?shù)c(diǎn)遠(yuǎn)離問(wèn)題的解時(shí)，精確地求解—個(gè)一維子問(wèn)題通常不是十分有效的.本文修改了原算法中的參數(shù)，即在方向dκ中取βκ=ρ‖gκ‖2/‖

2、gκ‖2-σgTκ-1dκ-1，并證明了新算法在強(qiáng)Wolfe準(zhǔn)則下同樣具有全局收斂性和線性收斂速率. 第三章，主要研究一種新的求解無(wú)約束最優(yōu)化問(wèn)題的記憶梯度法.該方法的主要特點(diǎn)是：(1)在每步迭代中，僅用到目標(biāo)函數(shù)及其梯度的信息以及函數(shù)值信息，無(wú)須計(jì)算二階導(dǎo)數(shù)以及矩陣，計(jì)算公式簡(jiǎn)單，比之其他優(yōu)化算法具有盡可能少的存貯量和計(jì)算工作量，適合求解較大規(guī)模的優(yōu)化問(wèn)題.(2)搜索方向dκ中的參數(shù)βκ的形式雖然與共軛梯度法中Doxin公式相

3、似，但新算法在強(qiáng)wolfe線性搜索下具有全局收斂性，而[16]中作者已證明在共軛梯度法中，βκ若采用Doxin公式，則強(qiáng)Wolfe線性搜索不能保證其具有全局收斂性.數(shù)值試驗(yàn)表明新算法是很有效的. 第四章，考慮無(wú)約束最優(yōu)化問(wèn)題，我們提出一種新的記憶預(yù)測(cè)方法.新算法在迭代過(guò)程中無(wú)需對(duì)步長(zhǎng)進(jìn)行線性搜索，僅需對(duì)算法中的一些參數(shù)進(jìn)行預(yù)測(cè)估計(jì)，使算法具有全局收斂性，減少了目標(biāo)函數(shù)以及梯度的迭代次數(shù)，從而降低了算法的計(jì)算量和存儲(chǔ)量.此外，算法