BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法及其應(yīng)用研究.pdf

1、基于BP學(xué)習(xí)算法（Back-Propagation Algorithm）的多層前饋型人工神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）及其變形，是當(dāng)前應(yīng)用十分廣泛的神經(jīng)網(wǎng)絡(luò)模型，在諸如模式分類，預(yù)測(cè)以及模式識(shí)別等實(shí)際問題方面顯示出了強(qiáng)大的求解能力。然而，BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法在實(shí)際應(yīng)用過程中還存在著學(xué)習(xí)收斂速度慢，易陷入局部最優(yōu)，訓(xùn)練失敗率高和大規(guī)模數(shù)據(jù)訓(xùn)練耗時(shí)的問題。一方面，本文通過分析傳統(tǒng)BP算法的優(yōu)缺點(diǎn)，結(jié)合其它領(lǐng)域的技術(shù)和理論，提出各種改進(jìn)算法。另一方

2、面，通過對(duì)應(yīng)用問題的特征分析，結(jié)合BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，提出新的解決基因調(diào)控網(wǎng)絡(luò)重構(gòu)的方法。并重點(diǎn)研究了BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法對(duì)大規(guī)模生物信息數(shù)據(jù)處理的問題，最后將研究成果應(yīng)用于蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)問題和基因調(diào)控網(wǎng)絡(luò)重構(gòu)的問題求解上。
　　本論文的主要研究?jī)?nèi)容如下所述：
　　提出了基于反饋誤差放大的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，該算法能夠使神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中盡量少的受飽和區(qū)域的影響，快速向期望精度方向收斂。同時(shí)，通過引入口袋算法，保證了該算

3、法的收斂性。實(shí)驗(yàn)結(jié)果顯示，該算法可使結(jié)構(gòu)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)快速向盡可能高的精度收斂，在提高收斂速度的同時(shí)，避免了通過增加網(wǎng)絡(luò)復(fù)雜性來提高收斂精度所引起的網(wǎng)絡(luò)泛化能力下降的問題。
　　在誤差放大學(xué)習(xí)算法的研究基礎(chǔ)上，通過結(jié)合改進(jìn)的遺傳算法，提出了基于注意力模型的混合學(xué)習(xí)算法來提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成功率。其中，為了更好的利用遺傳算法的尋優(yōu)特性，我們結(jié)合自然界中的進(jìn)化穩(wěn)定策略改進(jìn)了傳統(tǒng)的遺傳算法，以提高遺傳算法向全局最優(yōu)解收斂的性能，有效改善

4、了遺傳算法易陷入局部最優(yōu)區(qū)域的問題。
　　建立了神經(jīng)網(wǎng)絡(luò)分布式訓(xùn)練平臺(tái)，并提出了基于切片思想的分布式學(xué)習(xí)算法。借助數(shù)據(jù)分布與階段式訓(xùn)練來解決 BP神經(jīng)網(wǎng)絡(luò)處理大數(shù)據(jù)集時(shí)訓(xùn)練耗時(shí)過長(zhǎng)的問題。在引入了基于切片思想的分布式學(xué)習(xí)算法之后，這種分布式訓(xùn)練策略能有效提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率和成功率，使之更適于解決具有大規(guī)模訓(xùn)練數(shù)據(jù)的實(shí)際應(yīng)用問題。
　　針對(duì)基因表達(dá)數(shù)據(jù)噪聲多，樣本少和高度多維的特性，提出了數(shù)據(jù)片斷模式分析的基因調(diào)控網(wǎng)絡(luò)建模

5、方法。通過提取時(shí)序數(shù)據(jù)片斷中的模式來降低噪聲對(duì)基因間調(diào)控關(guān)系分析的影響，并使用秩相關(guān)分析來進(jìn)一步提高對(duì)噪聲的魯棒性。在此基礎(chǔ)上，我們借助對(duì)神經(jīng)網(wǎng)絡(luò)混合學(xué)習(xí)算法的研究，針對(duì)基因調(diào)控時(shí)延和聯(lián)合調(diào)控的特性，提出了基于片斷模式的基因網(wǎng)絡(luò)建模方法。在真實(shí)的酵母基因時(shí)序表達(dá)數(shù)據(jù)，Cdc28數(shù)據(jù)集上的實(shí)驗(yàn)分析結(jié)果表明，由于該方法能較好的保持原始數(shù)據(jù)的信息，屏蔽了部分噪聲的影響，從而在基因網(wǎng)絡(luò)的重構(gòu)上具有良好的魯棒性。更重要的是，該方法能有效提取出基因