fr共軛梯度法與擬牛頓法計(jì)算機(jī)實(shí)現(xiàn)及仿真

1、FR 共軛梯度法與擬牛頓法計(jì)算機(jī)實(shí)現(xiàn)及仿真 共軛梯度法與擬牛頓法計(jì)算機(jī)實(shí)現(xiàn)及仿真信計(jì) 0701 作者：翟錚 學(xué)號(hào)：0120714410105摘要：最速下降法和牛頓法是最基本的無(wú)約束最優(yōu)化方法，但由于最速下降法收斂速度慢而牛頓法雖然收斂速度比較快，但需要計(jì)算目標(biāo)函數(shù)的 Hesse 矩陣及其逆矩陣，計(jì)算量比較大。我們這里采用采用一種無(wú)需計(jì)算二階導(dǎo)數(shù)，但收斂速度比較快的一種算法，即 FR 共軛梯度。關(guān)鍵

2、詞:FR 共軛梯度法、擬牛頓法、黃金分割法、最優(yōu)一維線性搜索、收斂性1、FR 共軛梯度法與擬牛頓法 共軛梯度法與擬牛頓法1、共軛梯度法 、共軛梯度法在共軛梯度方向法中，如果取初始的搜索方向 ) ( 0 0 x f d ?? ? ，而以以下各共軛方向 k d 由第 k 次迭代點(diǎn)的負(fù)梯度 ) ( k x f ? ? 與已經(jīng)得到的共軛方向 1 ? k d 的線性組合來(lái)確定，這樣就構(gòu)造了一種具體的共軛方向法。因?yàn)槊恳粋€(gè)共軛方向都依賴于迭代點(diǎn)處的

3、負(fù)梯度，所以稱之為共軛梯度法（conjugate gradient method）給定初始點(diǎn)n R x ? 0 ，取初始搜索方向 ) ( 0 0 x f d ?? ? ，從 0 x 出發(fā)，沿 0 d 進(jìn)行一維搜索，得到迭代點(diǎn) 1 x ，一下按2 , 1 , 0 , ) ( 1 1 ? ? ? ?? ? ? ? n k d x f d k k k k ? ?來(lái)構(gòu)造搜索方向， k ? 的選取應(yīng)該使得 1 ? k d 和 k d 是共軛的。因

4、為kT k k kTk kT k Qd d Qd x f Qd d ? ? ?? ? ? ? ) ( 1 1且要使 1 ? k d 和 k d 是共軛的，應(yīng)有 0 1 ? ? kT k Qd d ，所以2 , 1 , 0 , ) ( 1 ? ? ? ? ? n k Qd dQd x fkT kkTkk ? ?于是得到 n 個(gè)搜索方向 1 1 0 , , , ? n d d d ? 如下：2、計(jì)算機(jī)實(shí)現(xiàn)步驟 計(jì)算機(jī)實(shí)現(xiàn)步驟由于該問(wèn)題設(shè)計(jì)的

5、問(wèn)題比較復(fù)雜，所用變量多，為防止變量之間的沖突，在下面的程序中全部用函數(shù)來(lái)實(shí)現(xiàn)。函數(shù)一：計(jì)算函數(shù)在任意點(diǎn)處的梯度值。函數(shù)名：gradient_my(f,y,num)，參數(shù)：f:待求梯度函數(shù) y：待求梯度點(diǎn) num:函數(shù)變量數(shù)函數(shù)二：黃金分割法求最優(yōu)步長(zhǎng)。函數(shù)名：golden_search(f,a,b)， 參數(shù)：f:待求梯度函數(shù) a:搜索區(qū)間左端點(diǎn) b:搜索區(qū)間右端點(diǎn)函數(shù)三：共軛梯度法。函數(shù)名：conjugate_gradi

6、ent（f,x0,error），參數(shù)：f:待求梯度函數(shù) x0:初始點(diǎn) error：允許誤差函數(shù)四：擬牛頓法函數(shù)名：quasi_Newton(f,x0,error),參數(shù)：f:待求梯度函數(shù) x0:初始點(diǎn) error：允許誤差三、實(shí)驗(yàn)結(jié)果及 三、實(shí)驗(yàn)結(jié)果及仿真第一題、Rosenbrock 函數(shù), ) 1 ( ) ( 100 ) ( 212 2 1 2 x x x x f ? ? ? ?0 ) ( , ] 1 , 1 [ ,