BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究.pdf

1、基于BP學(xué)習(xí)算法（Back-Propagation Algorithm）的多層前饋型人工神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）及其變形，是當(dāng)前應(yīng)用十分廣泛的神經(jīng)網(wǎng)絡(luò)模型，在諸如模式分類，預(yù)測以及模式識別等實際問題方面顯示出了強(qiáng)大的求解能力。然而，BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法在實際應(yīng)用過程中還存在著學(xué)習(xí)收斂速度慢，易陷入局部最優(yōu)，訓(xùn)練失敗率高和大規(guī)模數(shù)據(jù)訓(xùn)練耗時的問題。一方面，本文通過分析傳統(tǒng)BP算法的優(yōu)缺點(diǎn)，結(jié)合其它領(lǐng)域的技術(shù)和理論，提出各種改進(jìn)算法。另一方

2、面，通過對應(yīng)用問題的特征分析，結(jié)合BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，提出新的解決基因調(diào)控網(wǎng)絡(luò)重構(gòu)的方法。并重點(diǎn)研究了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法對大規(guī)模生物信息數(shù)據(jù)處理的問題，最后將研究成果應(yīng)用于蛋白質(zhì)二級結(jié)構(gòu)預(yù)測問題和基因調(diào)控網(wǎng)絡(luò)重構(gòu)的問題求解上。
　　本論文的主要研究內(nèi)容如下所述：
　　提出了基于反饋誤差放大的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，該算法能夠使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中盡量少的受飽和區(qū)域的影響，快速向期望精度方向收斂。同時，通過引入口袋算法，保證了該算

3、法的收斂性。實驗結(jié)果顯示，該算法可使結(jié)構(gòu)簡單的神經(jīng)網(wǎng)絡(luò)快速向盡可能高的精度收斂，在提高收斂速度的同時，避免了通過增加網(wǎng)絡(luò)復(fù)雜性來提高收斂精度所引起的網(wǎng)絡(luò)泛化能力下降的問題。
　　在誤差放大學(xué)習(xí)算法的研究基礎(chǔ)上，通過結(jié)合改進(jìn)的遺傳算法，提出了基于注意力模型的混合學(xué)習(xí)算法來提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成功率。其中，為了更好的利用遺傳算法的尋優(yōu)特性，我們結(jié)合自然界中的進(jìn)化穩(wěn)定策略改進(jìn)了傳統(tǒng)的遺傳算法，以提高遺傳算法向全局最優(yōu)解收斂的性能，有效改善

4、了遺傳算法易陷入局部最優(yōu)區(qū)域的問題。
　　建立了神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練平臺，并提出了基于切片思想的分布式學(xué)習(xí)算法。借助數(shù)據(jù)分布與階段式訓(xùn)練來解決 BP神經(jīng)網(wǎng)絡(luò)處理大數(shù)據(jù)集時訓(xùn)練耗時過長的問題。在引入了基于切片思想的分布式學(xué)習(xí)算法之后，這種分布式訓(xùn)練策略能有效提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率和成功率，使之更適于解決具有大規(guī)模訓(xùn)練數(shù)據(jù)的實際應(yīng)用問題。
　　針對基因表達(dá)數(shù)據(jù)噪聲多，樣本少和高度多維的特性，提出了數(shù)據(jù)片斷模式分析的基因調(diào)控網(wǎng)絡(luò)建模

5、方法。通過提取時序數(shù)據(jù)片斷中的模式來降低噪聲對基因間調(diào)控關(guān)系分析的影響，并使用秩相關(guān)分析來進(jìn)一步提高對噪聲的魯棒性。在此基礎(chǔ)上，我們借助對神經(jīng)網(wǎng)絡(luò)混合學(xué)習(xí)算法的研究，針對基因調(diào)控時延和聯(lián)合調(diào)控的特性，提出了基于片斷模式的基因網(wǎng)絡(luò)建模方法。在真實的酵母基因時序表達(dá)數(shù)據(jù)，Cdc28數(shù)據(jù)集上的實驗分析結(jié)果表明，由于該方法能較好的保持原始數(shù)據(jù)的信息，屏蔽了部分噪聲的影響，從而在基因網(wǎng)絡(luò)的重構(gòu)上具有良好的魯棒性。更重要的是，該方法能有效提取出基因