基于回溯式搜索算法的隨機(jī)神經(jīng)網(wǎng)絡(luò)優(yōu)化及應(yīng)用.pdf

1、在神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史中，BP算法（Error Back Propagation，BP誤差反向傳播）一直作為神經(jīng)網(wǎng)絡(luò)權(quán)值優(yōu)化的主流方法。但其收斂速度慢、易陷入局部極小值等缺點(diǎn)降低了神經(jīng)網(wǎng)絡(luò)的性能。隨機(jī)神經(jīng)網(wǎng)絡(luò)采用單隱含層結(jié)構(gòu)，隱含層（輸入節(jié)點(diǎn)到隱含節(jié)點(diǎn)）參數(shù)隨機(jī)產(chǎn)生，輸出層（隱含節(jié)點(diǎn)到輸出節(jié)點(diǎn)）參數(shù)通過(guò)計(jì)算得到。相比于采用BP算法的神經(jīng)網(wǎng)絡(luò)而言，隨機(jī)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度得到了上百倍的提高，同時(shí)也提高了網(wǎng)絡(luò)模型的準(zhǔn)確率和泛化能力。
　　

2、隱含層參數(shù)的隨機(jī)性策略提升了網(wǎng)絡(luò)性能，但這種機(jī)制導(dǎo)致隱含層需要過(guò)多的節(jié)點(diǎn)。這就造成了網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于臃腫，降低了測(cè)試速度。許多學(xué)者對(duì)此進(jìn)行研究，旨在簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，用進(jìn)化算法優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)的隱含層參數(shù)便是其中一種。進(jìn)化算法是一種基于自然選擇和生物遺傳等生物進(jìn)化機(jī)制而出現(xiàn)的一種啟發(fā)式搜索算法。進(jìn)化算法包括遺傳算法[2]，遺傳編碼，進(jìn)化策略[3]，進(jìn)化編程四部分。進(jìn)化算法擁有強(qiáng)大的全局搜索能力。因此，本文嘗試通過(guò)回溯式搜索算法（進(jìn)化算法的一種）

3、優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)的參數(shù)，以提高隨機(jī)神經(jīng)網(wǎng)絡(luò)的效率、簡(jiǎn)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。回溯式搜索算法求解過(guò)程是一個(gè)貪婪的過(guò)程，在用回溯式搜索算法迭代優(yōu)化隨機(jī)神經(jīng)網(wǎng)絡(luò)時(shí)，會(huì)造成模型趨向于擬合驗(yàn)證集，但在測(cè)試集上的性能甚至可能出現(xiàn)下降的現(xiàn)象。因此，本文中提出了一種雙項(xiàng)約束的損失函數(shù)，通過(guò)數(shù)據(jù)約束，很大程度上減輕了模型趨向于擬合驗(yàn)證集的問(wèn)題。在對(duì)網(wǎng)絡(luò)模型評(píng)價(jià)時(shí)，泛化能力是一個(gè)重要的指標(biāo)。在本文中，提出了一種新的泛化能力評(píng)價(jià)準(zhǔn)則，能更直觀的表現(xiàn)出模型的泛化能力。

4、
　　許多疾病如糖尿病、青光眼等早期癥狀都表現(xiàn)在視網(wǎng)膜上。通過(guò)視網(wǎng)膜分析可以對(duì)這些疾病做早期的預(yù)防和治療。視網(wǎng)膜血管分割是視網(wǎng)膜分析的基礎(chǔ)。在血管分割中，血管的彎曲、分支等分割的是否準(zhǔn)確，直接影響到視網(wǎng)膜分析的準(zhǔn)確性。本文把回溯式搜索算法改進(jìn)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型用于視網(wǎng)膜血管分割，取得了令人滿意的效果。
　　在UCI數(shù)據(jù)集和視網(wǎng)膜血管分割數(shù)據(jù)集上，基于回溯式搜索算法改進(jìn)的隨機(jī)神經(jīng)網(wǎng)絡(luò)模型獲得了令人滿意的效果。本文對(duì)基于回溯式搜