非線性優(yōu)化問題的罰函數(shù)算法和擬Newton算法.pdf

1、最優(yōu)化可以追溯到求解極值問題。它最初是求解某些數(shù)學問題的最優(yōu)解，即從眾多的方案中選出最優(yōu)方案。上世紀40年代末，最優(yōu)化理論和方法成為一門獨立的學科。自從Dantzig在1947年提出求解線性規(guī)劃問題的單純形算法之后，求解非線性規(guī)劃、隨機規(guī)劃、多目標規(guī)劃、半定規(guī)劃等多種最優(yōu)化問題的理論研究得到長足發(fā)展，新方法不斷涌現(xiàn)。
　　 最優(yōu)化方法中，解決約束非線性規(guī)劃問題的一種思路是化成無約束非線性規(guī)劃問題，最常用的兩種方法是罰函數(shù)方法和拉

2、格朗日乘子方法。由于罰函數(shù)的精確性和可微性難于同時滿足。因此本文針對傳統(tǒng)罰函數(shù)的結(jié)構(gòu)改進，將優(yōu)化函數(shù)化為既精確又光滑的函數(shù)類型。同時得到了相關(guān)理論，提出一種含參數(shù)的罰函數(shù)算法，并對算法進行數(shù)值實驗，結(jié)果顯示算法效果明顯提高。
　　 擬Newton法是求解非線性無約束優(yōu)化問題的最有效、理論上也是最成熟的算法之一。在擬Newton方法中，擬Newton方程的結(jié)構(gòu)起著至關(guān)重要的作用。最初的擬Newton方程僅僅利用了目標函數(shù)的一階導數(shù)

3、信息，而忽略了目標函數(shù)值信息。
　　 因此，很多人對擬Newton方程進行了研究，并取得了較好的成果。所以基于修正擬Newton方程成為擬Newton算法發(fā)展的一個研究熱點。本文提出兩種非單調(diào)線性搜索技術(shù)，修正得到三類擬Newton方法，同時證明了全局收斂性，且對算法進行了數(shù)值實驗，結(jié)果表明數(shù)值效果較好。
　　 本文結(jié)構(gòu)安排如下：
　　 第一章緒論首先介紹最優(yōu)化的基本知識和非單調(diào)線性搜索技術(shù)，隨后介紹精確罰函數(shù)研

4、究和發(fā)展現(xiàn)狀、擬Newton法的理論和研究現(xiàn)狀，最后給出本文的研究成果。
　　 第二章提出一種新的含參數(shù)精確罰函數(shù)算法，并在前人研究基礎(chǔ)之上給出新的精確罰定理，一方面在理論上研究精確罰函數(shù)的近似精確性，另一方面進行數(shù)值實驗來驗證方法的可行性。
　　 第三章提出一種無約束優(yōu)化問題的對角稀疏擬Newton算法，采用了新的非單調(diào)線性搜索技術(shù)，在每次迭代中利用對角矩陣近似校正矩陣，使得每次的存儲量和工作量大為減少。并對擬Newt

5、on方程進行了校正，利用更多的目標函數(shù)信息。
　　 在一般假設(shè)條件下，證明了算法的全局收斂性和超線性收斂性。數(shù)值實驗表明了算法的可行性。
　　 第四章提出一種非單調(diào)的線性搜索技術(shù)和修正的擬Newton方法，并證明了該算法在此線性搜索下對非凸極小化問題的全局收斂性，建立了算法的全局收斂性定理，數(shù)值結(jié)果表明，采用非單調(diào)搜索技術(shù)的擬Newton方法比原有單調(diào)的擬Newton方法的數(shù)值效果明顯要好。
　　 第五章基于李董