線性約束最優(yōu)化問(wèn)題的投影梯度法.pdf

1、最優(yōu)化是一門應(yīng)用性很強(qiáng)的學(xué)科．近年來(lái)，隨著計(jì)算機(jī)的發(fā)展以及實(shí)際問(wèn)題的需要，大規(guī)模優(yōu)化問(wèn)題越來(lái)越受到重視．于是，快速有效的算法成為研究的熱門方向． 最優(yōu)化問(wèn)題分為無(wú)約束最優(yōu)化問(wèn)題(古典的求函數(shù)極值問(wèn)題)和帶約束最優(yōu)化問(wèn)題，對(duì)最優(yōu)化問(wèn)題的研究是近年米運(yùn)籌學(xué)的熱門問(wèn)題，在經(jīng)典最優(yōu)化問(wèn)題的基礎(chǔ)上許多國(guó)內(nèi)外學(xué)者對(duì)算法進(jìn)行了改進(jìn)和創(chuàng)新，提出了一大批新算法．對(duì)于約束最優(yōu)化問(wèn)題的研究一直是優(yōu)化專家們研究的熱門方向之一．其中比較著名的有二次規(guī)劃、

2、逐步二次規(guī)劃法、罰函數(shù)法、信賴域法、約束變尺度法和可行方向法等． 在約束最優(yōu)化問(wèn)題的算法中怎樣尋找有效的下降方向是構(gòu)造算法的重要內(nèi)容，在尋找下降方向方面可行方向法中的投影梯度法有效的解決了下降方向的尋找問(wèn)題，利用線性約束問(wèn)題邊界點(diǎn)的任意方向在邊界上的投影都足可行方向，而負(fù)梯度方向的投影就是一個(gè)下降方向．60年代初Rosen提出投影梯度法的基本思想，自從Rosen提出該方法以后，對(duì)它的收斂性問(wèn)題不少人進(jìn)行了研究，但一般都是對(duì)算法作

3、出某些修正后才能證明其收斂的，直到最近對(duì)Rosen算法本身的收斂性的證明才予以解決．投影梯度法是最速下降法對(duì)約束問(wèn)題的推廣，因此沒(méi)有較快的收斂速度，為了解決這個(gè)問(wèn)題很多中外學(xué)者把發(fā)展得比較成熟的無(wú)約束最優(yōu)化算法作類似的推廣，其中共軛梯度方法是近年發(fā)展的很成熟的方法，它具有計(jì)算簡(jiǎn)單，算法結(jié)構(gòu)好，計(jì)算量少，具有良好的收斂性等優(yōu)點(diǎn)，而Rosen投影梯度法的提出使尋找下降方向變得簡(jiǎn)單． 本文提出基于投影梯度法與無(wú)約束最優(yōu)化問(wèn)題的下降類算

4、法相結(jié)合的幾類新算法．使新算法將無(wú)約束最優(yōu)化問(wèn)題的下降類算法推廣到線性約束最優(yōu)化問(wèn)題． 在第一章我們簡(jiǎn)要的介紹了最優(yōu)化問(wèn)題的提出以及判斷最優(yōu)解常用的最優(yōu)性條件，回顧了最優(yōu)化問(wèn)題的幾類主要算法． 在第二章中我們把一種新的共軛梯度法(HS-DY混合共軛梯度法)與Rosen投影梯度相結(jié)合，提出了線性等式約束最優(yōu)化問(wèn)題的一種新算法，并在Wolfe線搜索下證明了算法的收斂性． 在第三章中我們將無(wú)約束問(wèn)題的一類下降算法與Ro