并行禁忌搜索算法及其在神經(jīng)網(wǎng)絡(luò)優(yōu)化中的應(yīng)用研究.pdf

1、禁忌搜索是一種亞啟發(fā)式(meta-heuristic)算法,簡(jiǎn)稱(chēng)TS,由美國(guó)科羅拉多大學(xué)系統(tǒng)科學(xué)家Fred Glover教授于1986年首次提出.TS與模擬退火算法、遺傳算法、螞蟻算法、混沌等一樣,都是通過(guò)模擬或揭示某些自然現(xiàn)象或智力過(guò)程而形成的一套算法,以用于求解各種工程問(wèn)題中的優(yōu)化解.TS以其靈活的存儲(chǔ)結(jié)構(gòu)和相應(yīng)的禁忌準(zhǔn)則來(lái)避免迂回搜索,在優(yōu)化算法中獨(dú)樹(shù)一幟,已成為計(jì)算智能領(lǐng)域的又一熱點(diǎn). 本文首先對(duì)禁忌搜索算法做了深入的研究,分析

2、了算法的基本原理及其算法實(shí)現(xiàn)的關(guān)鍵技術(shù),并將算法與其他的優(yōu)化算法做了比較,在此基礎(chǔ)上,本文主要針對(duì)以下兩個(gè)方面的工作做了更進(jìn)一步的研究: 一是在串行TS算法的基礎(chǔ)上實(shí)現(xiàn)了并行TS算法,并將遺傳算法中的交叉操作思想引入到了并行TS中,以提高算法的優(yōu)化性能.在并行算法運(yùn)行初期,每個(gè)進(jìn)程執(zhí)行一個(gè)獨(dú)立的TS,并通過(guò)遺傳算法的交叉操作在每個(gè)進(jìn)程間進(jìn)行當(dāng)前最優(yōu)解的交叉操作,保證算法的分散搜索能力;運(yùn)行后期,通過(guò)鄰域分解策略把計(jì)算任務(wù)分配到各

3、個(gè)從進(jìn)程,從而整體上提高算法的優(yōu)化性能.以函數(shù)優(yōu)化為實(shí)驗(yàn),驗(yàn)證了該算法的可性行和高效性. 二是將并行TS算法應(yīng)用于前饋神經(jīng)網(wǎng)絡(luò)中,提高神經(jīng)網(wǎng)絡(luò)的泛化能力.并行TS算法用于神經(jīng)網(wǎng)絡(luò)優(yōu)化主要包括兩大方面:一是用于網(wǎng)絡(luò)學(xué)習(xí)(也稱(chēng)網(wǎng)絡(luò)訓(xùn)練),即優(yōu)化網(wǎng)絡(luò)各層之間的連接權(quán)值;二是優(yōu)化網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu).本文研究的是神經(jīng)網(wǎng)絡(luò)連接權(quán)值的優(yōu)化,并構(gòu)建了一個(gè)用并行TS算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)值的神經(jīng)網(wǎng)絡(luò)優(yōu)化模型,通過(guò)其在入侵檢測(cè)分類(lèi)問(wèn)題以及在匯率兌換預(yù)測(cè)問(wèn)題