最優(yōu)化問題的梯度投影算法研究.pdf

1、本文主要研究了凸約束最優(yōu)化問題的梯度投影算法.全文共分四章. 第一章是本文的緒論部分，簡要介紹了梯度投影算法的研究現(xiàn)狀以及本文的主要研究成果. 第二章研究了精確步長規(guī)則下的梯度投影算法.步長αk的選取至關(guān)重要，一般步長搜索規(guī)則分為精確步長和非精確步長兩類.一般情況下，由于選取精確步長需要較大的計算量，因而很少被采用.然而Hager和Park指出，對一些約束相對簡單的困難問題而言，精確步長規(guī)則是很有用的，因?yàn)槭褂镁_步長規(guī)

2、則可以使迭代點(diǎn)跳出局部極小點(diǎn)的某個鄰域，向整體極小點(diǎn)靠近.因此研究精確步長規(guī)則下的梯度投影算法也是相當(dāng)必要的.在一定的條件下，證明了精確步長規(guī)則下的梯度投影算法的收斂性. 第三章研究了帶擾動項的梯度投影算法.帶擾動項的最優(yōu)化算法很多工作都是為了研究神經(jīng)網(wǎng)絡(luò)中增值梯度算法和反向傳播算法的收斂性.本章對一般的梯度投影算法中的負(fù)梯度方向增加了一擾動項，其迭代形式為Xk+1=PΩ[Xk+αk(-▽f(xk)+wk)]，其中.1im ‖w

3、k‖=0，步長αk采用Armijo步長規(guī)則，在一定的的條件下分析了算法的收斂性，得到了迭代點(diǎn)序列的投影梯度收斂于零.這一結(jié)果從理論上說明了Armijo步長規(guī)則下的梯度投影算法中的負(fù)梯度方向受到輕微擾動時，不會影響算法的收斂性. 第四章研究了廣義Armijo步長規(guī)則下的梯度投影算法.本章提出了一種廣義的Armijo步長規(guī)則，這種步長規(guī)則是通常的Armijo步長規(guī)則的一種推廣，在一定的條件下，證明了算法的收斂性.進(jìn)一步，我們研究了算