多隱層前饋神經(jīng)網(wǎng)絡(luò)的隨機(jī)賦權(quán)訓(xùn)練算法研究.pdf

1、智能軟件系統(tǒng)已成為軟件工程領(lǐng)域最重要的研發(fā)對象之一。無論是學(xué)術(shù)界還是工業(yè)界，都對能使軟件智能化的算法產(chǎn)生了濃厚的興趣。其中，與模式分類有關(guān)的算法更是得到了業(yè)內(nèi)的廣泛關(guān)注，通過對分類算法的研究、優(yōu)化與創(chuàng)新，使得軟件智能化的水平得到了顯著的提高。最近幾年，人工神經(jīng)網(wǎng)絡(luò)在理論上和應(yīng)用上的突破都引人矚目，尤其是深層神經(jīng)網(wǎng)絡(luò)的優(yōu)越性正逐漸被人們所認(rèn)可，國內(nèi)外很多學(xué)者都致力于深層神經(jīng)網(wǎng)絡(luò)的研究工作，并提出了大量的優(yōu)秀算法。
　　深層神經(jīng)網(wǎng)絡(luò)模

2、型的種類很多，根據(jù)訓(xùn)練算法來分，其中有兩類，第一類是基于貪婪算法的逐層預(yù)訓(xùn)練的深層神經(jīng)網(wǎng)絡(luò)模型；第二種是通過隨機(jī)賦權(quán)方法來構(gòu)造的深層神經(jīng)網(wǎng)絡(luò)模型。本文第一部分的工作主要研究了兩類深層神經(jīng)網(wǎng)絡(luò)模型中具有代表性的兩個(gè)模型。其中，基于受限玻爾茲曼機(jī)逐層預(yù)訓(xùn)練的方法是深度學(xué)習(xí)的主要方法之一，該方法通過借助物理能量模型來對網(wǎng)絡(luò)中每一層的參數(shù)進(jìn)行預(yù)訓(xùn)練，之后逐層疊加成深度置信網(wǎng)絡(luò)，通過在最后一層加上softmax層輸出網(wǎng)絡(luò)的分類結(jié)果，然后進(jìn)行網(wǎng)絡(luò)精

3、調(diào)，本文以這個(gè)方法為基礎(chǔ)，結(jié)合廣義逆的知識(shí)對該方法進(jìn)行了簡化的工作，并進(jìn)行比較研究；另外，用基于極速學(xué)習(xí)機(jī)的原理來訓(xùn)練得到的深層網(wǎng)絡(luò)是典型的深層隨機(jī)賦權(quán)網(wǎng)絡(luò)，該類型的網(wǎng)絡(luò)以效率著稱，并在工業(yè)界得到了廣泛的應(yīng)用。本文第二部分的主要工作是對分類器集成方法的研究，并且利用分類器集成的方法將深層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行集成，并將這種方法與深度學(xué)習(xí)、深度隨機(jī)賦權(quán)網(wǎng)絡(luò)進(jìn)行了比較研究。
　　在本文的實(shí)驗(yàn)部分，為了使得對比分析結(jié)果具有客觀性，本文選取了多