關(guān)于無約束最優(yōu)化問題的擬牛頓算法研究.pdf

1、擬牛頓算法是求解無約束最優(yōu)化問題最常用的方法之一.擬牛頓算法是牛頓法的一種推廣,牛頓法中每次迭代都需要計(jì)算Hessian矩陣,但計(jì)算Hessian矩陣工作量大,并且有的很難計(jì)算,甚至不好求,而以擬牛頓方程為基礎(chǔ)構(gòu)造的擬牛頓算法克服了牛頓法的這一不足.擬牛頓算法利用目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息構(gòu)造出目標(biāo)函數(shù)的曲率近似,而不需要明顯形成Hessian矩陣,而且具有超線性收斂速度的優(yōu)點(diǎn). 擬牛頓方程在擬牛頓算法的研究過程中起著舉足輕重的作用

2、.傳統(tǒng)的擬牛頓方程只利用了目標(biāo)函數(shù)的梯度信息而忽略了目標(biāo)函數(shù)值的信息,這無疑是對(duì)信息資源的浪費(fèi).考慮到對(duì)信息資源的充分利用,已有許多研究者們對(duì)傳統(tǒng)的擬牛頓方程進(jìn)行修改,并推導(dǎo)出新的擬牛頓算法.本文借助于前人的思想利用四階泰勒展開,提出了-種新擬牛頓方程,從而為擬牛頓方程的進(jìn)一步修改奠定了理論基礎(chǔ).然后對(duì)基于新擬牛頓方程的新擬牛頓算法進(jìn)行了研究.這些新擬牛頓算法不僅保留了常見擬牛頓算法的大部分良好性質(zhì),而且在近似目標(biāo)函數(shù)的二次曲率時(shí)比以往

3、的擬牛頓算法都有更高的精確度.本文主要研究?jī)?nèi)容如下： 第一、討論了基于新擬牛頓方程的BFGS新擬牛頓算法的收斂性.首先通過四階泰勒展開提出了一種新擬牛頓方程,新擬牛頓方程不僅利用了目標(biāo)函數(shù)的梯度信息,而且用到了目標(biāo)函數(shù)值的信息.在此基礎(chǔ)上推導(dǎo)出了一種新的BFGS校正公式,并結(jié)合Wolfe線性搜索給出了相應(yīng)的BFGS新擬牛頓算法.其次,論證了這種新擬牛頓算法在wolfe線性搜索下對(duì)凸函數(shù)具有全局收斂性,并且證明了在一定條件下是超線

4、性收斂的.最后,以C語言為工具進(jìn)行數(shù)值實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明新算法是有效的. 第二、證明了基于新擬牛頓方程的修改Broyden族全局收斂性.基于上述的新擬牛頓方程提出了修改Broyden族校正公式,在采用一種比Wolfe線性搜索更廣泛的LS線性搜索模型下,提出修改Broyden族的新擬牛頓算法.然后,對(duì)一致凸函數(shù)證明了這種新算法的全局收斂性,為修改Broyden族的進(jìn)一步研究奠定基礎(chǔ). 第三、討論了基于新擬牛頓方程的新擬牛頓