深度學習在回歸預測中的研究及應用.pdf

1、人工神經(jīng)網(wǎng)絡是通過對人腦神經(jīng)元的信息處理機制進行模擬而構(gòu)建的一種機器學習模型，具有自學習、自適應、高容錯性等優(yōu)勢。但是隨著人工神經(jīng)網(wǎng)絡隱藏層的層數(shù)增加，梯度彌散現(xiàn)象嚴重，導致多隱藏層的人工神經(jīng)網(wǎng)絡的優(yōu)化成為難題。2006年，Hinton等人提出的貪婪逐層無監(jiān)督預訓練策略，使得深度神經(jīng)網(wǎng)絡的訓練成為可能，從而開啟了深度學習的時代。深度學習利用多隱藏層的結(jié)構(gòu)，對低層特征進行高度抽象，從而實現(xiàn)特征的自動提取。本文針對適用于回歸預測的深度學習算

2、法展開研究并將其應用于小麥蚜蟲的短期預測中。主要研究內(nèi)容如下：
　?。?）逐層無監(jiān)督預訓練策略在深度學習的預訓練過程中發(fā)揮著重要的作用，但樣本標簽所提供的監(jiān)督信息是無法替代的。面對數(shù)據(jù)量較少的回歸預測問題，無監(jiān)督學習的優(yōu)勢并不明顯。將堆疊降噪自動編碼器的特征提取模塊改為有監(jiān)督學習，提出基于有監(jiān)督預訓練的堆疊降噪自動編碼器，充分利用樣本標簽提供的監(jiān)督信息，彌補數(shù)據(jù)量不足的劣勢。通過在 UCI回歸數(shù)據(jù)集進行實驗，實驗結(jié)果表明改進的堆疊

3、降噪自動編碼器回歸預測誤差更小，泛化能力更強。
　　（2）超參數(shù)的設置對深度學習模型的預測性能有很大的影響，而目前對于超參數(shù)的設置缺乏明確的理論指導。本文在網(wǎng)格搜索算法的基礎上，從提高時間效率和預測準確性兩個方面對網(wǎng)格搜索進行改進，提出了分塊網(wǎng)格搜索和分塊變網(wǎng)格搜索。為了驗證改進的超參數(shù)優(yōu)化算法的有效性，在 UCI回歸數(shù)據(jù)集上進行實驗。Concrete數(shù)據(jù)集上的實驗結(jié)果表明：使用分塊網(wǎng)格搜索和分塊變網(wǎng)格搜索對超參數(shù)進行優(yōu)化的時間性

4、能遠遠優(yōu)于網(wǎng)格搜索，并且SDAE3模型的預測能力優(yōu)于SDAE2模型。對Slice數(shù)據(jù)集進行實驗，SDAE0模型的均方誤差為66.19，而使用分塊網(wǎng)格搜索對超參數(shù)進行優(yōu)化得到 SDAE2模型的均方誤差降低到2.98。Housing數(shù)據(jù)集的實驗結(jié)果表明，使用分塊網(wǎng)格搜索和分塊變網(wǎng)格搜索對超參數(shù)進行優(yōu)化的得到 DBN2和 DBN3模型的預測結(jié)果均優(yōu)于支持向量回歸以及局部支持向量回歸（LSVR）模型。
　?。?）小麥蚜蟲是危害小麥產(chǎn)量和品

5、質(zhì)的主要蟲害之一，通過對小麥蚜蟲的發(fā)生情況進行及時準確的預測，可以提早預防，降低損失。本文將深度信念網(wǎng)絡與局部支持向量回歸進行結(jié)合，提出了 DBN_LSVR模型，并將其用于小麥蚜蟲發(fā)生情況的短期預測。其中深度信念網(wǎng)絡主要用于小麥蚜蟲的特征學習階段，局部支持向量回歸主要用于回歸模型的構(gòu)建。通過在小麥蚜蟲數(shù)據(jù)集上進行實驗，實驗結(jié)果表明，DBN_LSVR模型對百株蚜量的預測誤差為649.2，對發(fā)生程度的預測準確率達到83.33％。通過與LSV