深度學(xué)習(xí)在回歸預(yù)測中的研究及應(yīng)用.pdf

1、人工神經(jīng)網(wǎng)絡(luò)是通過對人腦神經(jīng)元的信息處理機(jī)制進(jìn)行模擬而構(gòu)建的一種機(jī)器學(xué)習(xí)模型，具有自學(xué)習(xí)、自適應(yīng)、高容錯(cuò)性等優(yōu)勢。但是隨著人工神經(jīng)網(wǎng)絡(luò)隱藏層的層數(shù)增加，梯度彌散現(xiàn)象嚴(yán)重，導(dǎo)致多隱藏層的人工神經(jīng)網(wǎng)絡(luò)的優(yōu)化成為難題。2006年，Hinton等人提出的貪婪逐層無監(jiān)督預(yù)訓(xùn)練策略，使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練成為可能，從而開啟了深度學(xué)習(xí)的時(shí)代。深度學(xué)習(xí)利用多隱藏層的結(jié)構(gòu)，對低層特征進(jìn)行高度抽象，從而實(shí)現(xiàn)特征的自動(dòng)提取。本文針對適用于回歸預(yù)測的深度學(xué)習(xí)算

2、法展開研究并將其應(yīng)用于小麥蚜蟲的短期預(yù)測中。主要研究內(nèi)容如下：
　?。?）逐層無監(jiān)督預(yù)訓(xùn)練策略在深度學(xué)習(xí)的預(yù)訓(xùn)練過程中發(fā)揮著重要的作用，但樣本標(biāo)簽所提供的監(jiān)督信息是無法替代的。面對數(shù)據(jù)量較少的回歸預(yù)測問題，無監(jiān)督學(xué)習(xí)的優(yōu)勢并不明顯。將堆疊降噪自動(dòng)編碼器的特征提取模塊改為有監(jiān)督學(xué)習(xí)，提出基于有監(jiān)督預(yù)訓(xùn)練的堆疊降噪自動(dòng)編碼器，充分利用樣本標(biāo)簽提供的監(jiān)督信息，彌補(bǔ)數(shù)據(jù)量不足的劣勢。通過在 UCI回歸數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明改進(jìn)的堆疊

3、降噪自動(dòng)編碼器回歸預(yù)測誤差更小，泛化能力更強(qiáng)。
　?。?）超參數(shù)的設(shè)置對深度學(xué)習(xí)模型的預(yù)測性能有很大的影響，而目前對于超參數(shù)的設(shè)置缺乏明確的理論指導(dǎo)。本文在網(wǎng)格搜索算法的基礎(chǔ)上，從提高時(shí)間效率和預(yù)測準(zhǔn)確性兩個(gè)方面對網(wǎng)格搜索進(jìn)行改進(jìn)，提出了分塊網(wǎng)格搜索和分塊變網(wǎng)格搜索。為了驗(yàn)證改進(jìn)的超參數(shù)優(yōu)化算法的有效性，在 UCI回歸數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。Concrete數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：使用分塊網(wǎng)格搜索和分塊變網(wǎng)格搜索對超參數(shù)進(jìn)行優(yōu)化的時(shí)間性

4、能遠(yuǎn)遠(yuǎn)優(yōu)于網(wǎng)格搜索，并且SDAE3模型的預(yù)測能力優(yōu)于SDAE2模型。對Slice數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，SDAE0模型的均方誤差為66.19，而使用分塊網(wǎng)格搜索對超參數(shù)進(jìn)行優(yōu)化得到 SDAE2模型的均方誤差降低到2.98。Housing數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，使用分塊網(wǎng)格搜索和分塊變網(wǎng)格搜索對超參數(shù)進(jìn)行優(yōu)化的得到 DBN2和 DBN3模型的預(yù)測結(jié)果均優(yōu)于支持向量回歸以及局部支持向量回歸（LSVR）模型。
　?。?）小麥蚜蟲是危害小麥產(chǎn)量和品

5、質(zhì)的主要蟲害之一，通過對小麥蚜蟲的發(fā)生情況進(jìn)行及時(shí)準(zhǔn)確的預(yù)測，可以提早預(yù)防，降低損失。本文將深度信念網(wǎng)絡(luò)與局部支持向量回歸進(jìn)行結(jié)合，提出了 DBN_LSVR模型，并將其用于小麥蚜蟲發(fā)生情況的短期預(yù)測。其中深度信念網(wǎng)絡(luò)主要用于小麥蚜蟲的特征學(xué)習(xí)階段，局部支持向量回歸主要用于回歸模型的構(gòu)建。通過在小麥蚜蟲數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，DBN_LSVR模型對百株蚜量的預(yù)測誤差為649.2，對發(fā)生程度的預(yù)測準(zhǔn)確率達(dá)到83.33％。通過與LSV