基于極速學(xué)習(xí)機(jī)的深度學(xué)習(xí)在圖像分類(lèi)上的研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，以神經(jīng)網(wǎng)絡(luò)為載體的深度學(xué)習(xí)逐漸成為了現(xiàn)階段各種先進(jìn)技術(shù)的代名詞。神經(jīng)網(wǎng)絡(luò)技術(shù)從上世紀(jì)出現(xiàn)以后，各種基于神經(jīng)網(wǎng)絡(luò)的模型逐漸用來(lái)解決實(shí)際場(chǎng)景中的各種問(wèn)題。特別是在2012年的大規(guī)模圖像分類(lèi)競(jìng)賽中，基于深度學(xué)習(xí)的模型將分類(lèi)結(jié)果提升了11個(gè)百分點(diǎn)以后，便促進(jìn)了現(xiàn)階段深度學(xué)習(xí)浪潮的形成。深度學(xué)習(xí)技術(shù)將人們從繁雜的人工設(shè)計(jì)特征轉(zhuǎn)換成了自動(dòng)學(xué)習(xí)有效特征，強(qiáng)化模型抽象學(xué)習(xí)的能力，極大的促進(jìn)了圖像識(shí)別、圖像檢測(cè)、語(yǔ)音識(shí)別、追蹤等技

2、術(shù)的發(fā)展。
　　極速學(xué)習(xí)機(jī)自從2004年提出以來(lái)，在過(guò)去的十幾年間，有了長(zhǎng)足的發(fā)展。首先各種理論研究的出現(xiàn)為極速學(xué)習(xí)機(jī)的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)，其次基于極速學(xué)習(xí)機(jī)的應(yīng)用，將其拓展到了真實(shí)場(chǎng)景中。不過(guò)在極速學(xué)習(xí)機(jī)中，不管從權(quán)值初始化還是更為有效的特征表達(dá)以及深度學(xué)習(xí)模型上，都有許多問(wèn)題需要解決。
　　本文從極速學(xué)習(xí)機(jī)入手，探索了其權(quán)值初始化和分布式表達(dá)，并且提出并驗(yàn)證了卷積極速學(xué)習(xí)機(jī)。本文將通過(guò)如下三個(gè)方面開(kāi)展：
　　首先

3、，對(duì)權(quán)值初始化進(jìn)行了研究，探究了權(quán)值初始化對(duì)于極速學(xué)習(xí)機(jī)的影響。所提出的方法可以解決極速學(xué)習(xí)機(jī)的隨機(jī)特征表達(dá)不具有緊湊性和判別性的問(wèn)題，同時(shí)為其他方法提出了一個(gè)快速有效的權(quán)值初始化的解決方案；
　　其次，對(duì)于極速學(xué)習(xí)機(jī)的特征表達(dá)進(jìn)行了研究。分布式表達(dá)是特征表達(dá)中比較常用的方式，在極速學(xué)習(xí)機(jī)不需要權(quán)值調(diào)整的前提下，提出了基于極速學(xué)習(xí)機(jī)的分布式特征表達(dá)方式，不但可以將類(lèi)別信息通過(guò)特征組合引入模型結(jié)構(gòu)中，而且提高了極速學(xué)習(xí)機(jī)的性能；