用自動微分分劃組的修正算法解大型稀疏無約束優(yōu)化問題.pdf

1、非線性最優(yōu)化在科學(xué)計(jì)算和工程分析等領(lǐng)域中都起著非常重要的作用。在大規(guī)模稀疏非線性最優(yōu)化的研究中，Newton型方法一直受到人們的青睞，對它的改進(jìn)一直是人們關(guān)注的問題。近年來，結(jié)合稀疏Hesse陣的結(jié)構(gòu)，按照分劃組的思想將矩陣列分劃進(jìn)行迭代是國內(nèi)外研究的一個(gè)熱點(diǎn)。它們大都涉及求解函數(shù)的梯度和海森矩陣，通常使用的計(jì)算方法是符號微分和差分近似。對于大中規(guī)模問題來說，使用符號微分，成本昂貴，有時(shí)甚至不可行，在計(jì)算導(dǎo)數(shù)的方向梯度時(shí)，利用差分法雖然

2、可以降低計(jì)算成本，但得到的是近似值，而且確定恰當(dāng)?shù)牟罘謪^(qū)間也很困難。自動微分是一種新的能精確而有效地計(jì)算導(dǎo)數(shù)的方法，它優(yōu)越于傳統(tǒng)的微分方法。例如它比符號和差分方法的計(jì)算成本低，又比差分方法計(jì)算精確。 本文第一章簡單介紹了大型稀疏無約束優(yōu)化的解法發(fā)展歷程和求解方法的綜述，指出了現(xiàn)存方法存在的問題并提出了本文研究的專題。第二章給出了在求解無約束優(yōu)化問題時(shí)比較經(jīng)典的方法。第三章介紹了自動微分的求導(dǎo)技術(shù)，明確闡述了自動微分的基本概念、方

3、法，根據(jù)鏈?zhǔn)椒▌t簡單解釋了自動微分的兩種基本模式：前向模式和后向模式；并與差分法做了相關(guān)比較。第四章是在第三章的基礎(chǔ)上進(jìn)一步討論自動微分在求二階導(dǎo)數(shù)時(shí)的應(yīng)用，把自動微分與相容分劃的思想相結(jié)合，根據(jù)大型稀疏Hesse矩陣的結(jié)構(gòu)特點(diǎn)，提出了分別用直接法和間接法求目標(biāo)函數(shù)的Hesse矩陣，比較了它們的優(yōu)劣性。第五章是將自動微分應(yīng)用于PGC算法，提出了新的算法ADPGC，該算法保留了PGC算法在每個(gè)分劃組內(nèi)把所有元素僅僅修正一次的優(yōu)點(diǎn)，又保證了