深度學習模型的高效訓練算法研究.pdf

1、近年來，深度學習技術(shù)被成功應用于語音識別、手寫識別、計算機視覺、自然語言處理等領(lǐng)域，取得了顯著成果。隨著深度學習模型結(jié)構(gòu)日趨復雜，訓練數(shù)據(jù)不斷增加，如何實現(xiàn)模型的高效訓練，成為亟待解決的問題，當下計算技術(shù)，特別是高性能計算(HPC)和圖形處理單元(GPU)技術(shù)的發(fā)展使得我們可以利用的計算資源越來越多，這為該問題的解決提供了良好的契機。本文圍繞整流線性單元(ReLU)深度神經(jīng)網(wǎng)絡(luò)(DNN)的新訓練準則，深度雙向長短時記憶元(DBLSTM)

2、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的快速訓練以及深度學習模型的可擴展訓練等三個方面對該問題進行了研究，并有所創(chuàng)新。
　　首先，針對用于分類問題的ReLU-DNN，本文提出用基于樣本分離邊距(SSM)的最小分類誤差(MCE)準則替代傳統(tǒng)的交叉熵(CE)準則對模型進行訓練。對于給定的訓練樣本，如果忽略ReLU-DNN中輸出為0的隱層節(jié)點，該網(wǎng)絡(luò)可被視作線性分類器，SSM-MCE作為適用于線性分類器的訓練準則，其損失函數(shù)直接與分類錯誤率相關(guān)，在最小

3、化損失函數(shù)的同時，可以增大SSM，改善模型在測試集上的泛化能力。實驗結(jié)果表明，SSM-MCE在巾小規(guī)模的網(wǎng)絡(luò)上可以取得優(yōu)于CE的結(jié)果。
　　其次，本文針對DBLSTM訓練緩慢，解碼延遲高的問題，提出了基于上下文敏感區(qū)塊(CSC)的時域后傳(BPTT)訓練算法及其相應的解碼算法。該算法將長序列的DBLSTM建模的問題轉(zhuǎn)化成短CSC的建模，提高了模型訓練的并行度，加快了訓練速度，降低了解碼延遲，為DBLSTM的實時應用奠定了基礎(chǔ)。實驗

4、結(jié)果表明，在大詞匯量連續(xù)語音識別(LVCSR)任務上，該方法取得了與傳統(tǒng)方法相同的識別效果，而訓練速度加快了3.4倍，解碼延遲大大降低。
　　再次，為了利用大規(guī)模數(shù)據(jù)對深度學習模型進行并行訓練，我們提出了增量塊訓練(IBT)框架下的變方向乘子(ADMM)算法。作為一種數(shù)據(jù)并行算法，基于ADMM的IBT算法將無約束的深度學習模型訓練問題轉(zhuǎn)化成全局一致約束下的優(yōu)化問題進行求解。我們在HPC集群上對其進行了實現(xiàn)，實驗結(jié)果表明，在1，86

5、0小時的LVCSR的DNN訓練任務上，該算法取得了與模型平均(MA)算法大致相同的結(jié)果，且實現(xiàn)了訓練的線性加速。
　　最后，針對MA并行訓練算法隨并行機器增多，模型性能顯著下降的問題，本文將全局模型的更新看作隨機優(yōu)化過程，提出了逐塊模型更新濾波(BMUF)算法。該算法使用塊沖量(BM)技術(shù)，補償了MA算法中取平均操作帶來的負面作用。在1，860小時LVCSR的神經(jīng)網(wǎng)絡(luò)訓練任務上，本算法在多達64塊卡的DNNCE訓練和32塊卡的帶投