GPU平臺上循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法設(shè)計與優(yōu)化.pdf

1、隨著科技不斷發(fā)展及理論基礎(chǔ)日益成熟，深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network，DNN)目前已被廣泛應(yīng)用于眾多領(lǐng)域，并且為各自領(lǐng)域帶來突破性進展。在自然語言處理(Natural Language Processing，NLP)方向，相較于傳統(tǒng)機器學(xué)習(xí)方法及概率模型，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)在訓(xùn)練時序序列方面取得極佳效果，并迅速應(yīng)用于語音及自然語言理解等領(lǐng)域。同時，多核處理器及深度

2、學(xué)習(xí)專用加速卡等高性能處理器的發(fā)展，進一步推進了基于神經(jīng)網(wǎng)絡(luò)模型的研究與應(yīng)用。本文主要基于GPU平臺，對如何提升循環(huán)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練準(zhǔn)確率及訓(xùn)練速度進行研究，并針對此兩方面進行算法設(shè)計及優(yōu)化，從而提升語音識別、機器翻譯模型等實際應(yīng)用訓(xùn)練效果。
　　本文主要工作內(nèi)容和成果包括:
　　(1)針對語音識別應(yīng)用及其模型，提升模型訓(xùn)練準(zhǔn)確率及訓(xùn)練速度。通過對其訓(xùn)練數(shù)據(jù)進行重新組織，提升其模型訓(xùn)練速度;針對時序序列特征，改進數(shù)據(jù)規(guī)范化

3、算法，減少數(shù)據(jù)漂移，達到均勻分布。在訓(xùn)練過程中，結(jié)合調(diào)整學(xué)習(xí)率、隱藏層神經(jīng)元數(shù)量和參數(shù)更新算法等調(diào)參方法，最終在相同訓(xùn)練階段內(nèi)提升訓(xùn)練準(zhǔn)確率。
　　(2)針對機器翻譯應(yīng)用及其模型，提升模型訓(xùn)練速度。基于機器翻譯預(yù)測模型，通過對模型進行并行算法優(yōu)化，充分利用計算資源，將原單句訓(xùn)練變?yōu)槎嗑溆?xùn)練，在保證翻譯質(zhì)量情況下，提升單句訓(xùn)練速度。
　　(3)提升基于GPU循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練速度。通過編寫高效CUDA計算內(nèi)核，提升計算效率;

4、通過改善GPU顯存重用率，增大單次訓(xùn)練樣本數(shù)，充分利用計算資源，提升訓(xùn)練速度;基于GPU硬件計算單元，通過低比特量化方法對模型參數(shù)進行量化存儲，減小參數(shù)存儲規(guī)模，同時使用混合精度方法進行微調(diào)訓(xùn)練，從而對模型進行加速計算。
　　本文通過對循環(huán)神經(jīng)網(wǎng)絡(luò)及相關(guān)應(yīng)用模型結(jié)構(gòu)的深入理解，結(jié)合深度學(xué)習(xí)框架，基于GPU平臺，設(shè)計并實現(xiàn)了循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化算法，同時充分利用硬件特性，有效提高了語音識別模型及機器翻譯模型訓(xùn)練準(zhǔn)確率及訓(xùn)練速度，為后續(xù)研