過(guò)濾技術(shù)和非單調(diào)技術(shù)在數(shù)值優(yōu)化問(wèn)題中的結(jié)合與應(yīng)用.pdf

1、線搜索方法和信賴域方法是解最優(yōu)化問(wèn)題的兩類最基本的算法框架，求解線搜索方向和信賴域子問(wèn)題分別是其關(guān)鍵的組成部分之一，另一個(gè)關(guān)鍵點(diǎn)自然就是框架本身了．本文中，我們主要著眼于算法框架的改進(jìn)上，引入了過(guò)濾(Filter)技術(shù)和非單調(diào)技術(shù)等改進(jìn)策略，并將其應(yīng)用于幾類典型的優(yōu)化問(wèn)題中．從理論上對(duì)這些改進(jìn)后的算法框架進(jìn)行收斂性分析，并用數(shù)值試驗(yàn)檢驗(yàn)了改進(jìn)的效果． 第2章中，我們主要考慮過(guò)濾技術(shù)在無(wú)約束優(yōu)化問(wèn)題中的應(yīng)用，并采用信賴域方法作為基

2、本算法．參照[39]中利用梯度向量來(lái)定義過(guò)濾集的方法，而對(duì)其中的算法框架進(jìn)行了一些改進(jìn)，去除了[39]中關(guān)于信賴域子問(wèn)題凸性的判斷，對(duì)簡(jiǎn)化后的算法框架證明了全局收斂性，并在一定條件下證明了算法收斂到二階穩(wěn)定點(diǎn)．其后，我們報(bào)告了用過(guò)濾信賴域方法解無(wú)約束優(yōu)化問(wèn)題數(shù)值試驗(yàn)的結(jié)果．表明該算法框架相比于經(jīng)典信賴域框架在效率上有所改進(jìn)． 第3章中，我們研究了非單調(diào)技術(shù)在解非線性最小二乘問(wèn)題上的應(yīng)用．采用線搜索方法的具體實(shí)現(xiàn)Gauss-New

3、ton法作為基本算法．非單調(diào)線搜索技術(shù)的理論框架是由[41]給出，其中對(duì)搜索方向有一定的限制要求．本章中對(duì)Gauss-Newton法應(yīng)用截?cái)?truncate)技巧以使搜索方向滿足這些要求，并對(duì)截?cái)嗉记勺髁艘恍└倪M(jìn)．如此，就可以用[4l]中的經(jīng)典結(jié)果來(lái)獲得本章算法的收斂性．在本章的最后報(bào)告了相關(guān)數(shù)值試驗(yàn)結(jié)果． 第4章研究的是過(guò)濾技術(shù)在解非線性方程組問(wèn)題中的應(yīng)用，仍然沿用傳統(tǒng)的辦法將非線性方程組問(wèn)題轉(zhuǎn)化成一個(gè)非線性最小二乘問(wèn)題，并

4、用GaUSS-Newton法來(lái)求解．其中求線搜索方向時(shí)，同樣應(yīng)用了截?cái)郍auss-Newton法的技巧．另一方面，參照[37]中的方案定義了多維過(guò)濾集．在經(jīng)典文獻(xiàn)[57]中關(guān)于線搜索算法的理論結(jié)果的基礎(chǔ)上，我們證明了過(guò)濾截?cái)郍auss-Newton法滿足[57]中收斂性定理的條件，從而得到了過(guò)濾截?cái)郍auss-Newton法的整體收斂性． 第5章研究了非單調(diào)技術(shù)在等式約束優(yōu)化問(wèn)題中的應(yīng)用．在此，我們采用經(jīng)典罰函數(shù)算法作為基本算法

5、框架，并將非單調(diào)信賴域技術(shù)應(yīng)用到其中的無(wú)約束優(yōu)化子問(wèn)題上．此時(shí)出現(xiàn)的信賴域子問(wèn)題的條件一般是比較差的．我們使用了兩個(gè)技術(shù)來(lái)處理這個(gè)困難．其一是預(yù)條件技術(shù)，并根據(jù)問(wèn)題的特殊性來(lái)選擇特定形式的預(yù)優(yōu)矩陣；其二是迭代更新技術(shù)，從而可以給出比較干脆利落的預(yù)優(yōu)算法形式．最后報(bào)告了關(guān)于非單調(diào)信賴域罰函數(shù)法的數(shù)值試驗(yàn)結(jié)果，表明該章中的算法還是有一定實(shí)際價(jià)值的． 第6章研究了過(guò)濾技術(shù)和非單調(diào)技術(shù)在解一般約束優(yōu)化問(wèn)題中的應(yīng)用與結(jié)合．由于單純的過(guò)濾技

6、術(shù)不能完全排除Maratos效應(yīng)的干擾，故文獻(xiàn)[40]中考慮用非單調(diào)過(guò)濾技術(shù)來(lái)判斷試驗(yàn)點(diǎn)可接受性的算法．我們對(duì)其中的算法進(jìn)行了大規(guī)模的修改和補(bǔ)充，并進(jìn)一步應(yīng)用非單調(diào)技術(shù)來(lái)判斷目標(biāo)函數(shù)值的下降性，得到了所謂的完全非單調(diào)過(guò)濾信賴域方法的一個(gè)屬于SQP類的算法框架．在算法的推導(dǎo)過(guò)程中，我們研究了約束違反度的幾種不同定義形式，約束違反度和法向步間的相互關(guān)系，考慮了處理SQP子問(wèn)題不相容這一困難的恢復(fù)過(guò)程，定義了判斷算法收斂效果的一階穩(wěn)定度．最后