基于GPU的深度神經(jīng)網(wǎng)絡模型并行及優(yōu)化方法研究.pdf

1、目前，深度神經(jīng)網(wǎng)絡在圖像處理、語音識別和自然語言處理領域發(fā)揮著極其重要的作用，然而由于學習的數(shù)據(jù)量龐大，直接導致實驗過程中模型的學習速度很慢。過去，一般會通過增加機器數(shù)量來實現(xiàn)快速學習。如今，隨著圖形處理器（Graphics Processing Unit，GPU）的內(nèi)存和計算能力的提升，越來越多的用到GPU進行計算。但是模型的增大又受到單個GPU內(nèi)存太小的限制，經(jīng)常因為更大的模型在GPU上無法儲存，致使在單GPU上不能訓練擁有較多參數(shù)

2、的神經(jīng)網(wǎng)絡。
　　針對當前深度神經(jīng)網(wǎng)絡模型訓練效率低下的問題，提出了在深度神經(jīng)網(wǎng)絡學習的過程中采用多GPU上模型并行訓練的方法。為了優(yōu)化模型并行訓練，提高模型訓練速度，從以下三個方面進行了優(yōu)化。要實現(xiàn)深度神經(jīng)網(wǎng)絡模型的并行計算，首先要將一個計算模型拆分成兩個模型分片分別存儲在兩個GPU上，使兩個模型能夠在兩個GPU上并行計算；優(yōu)化模型并行計算的順序，在深度神經(jīng)網(wǎng)絡模型訓練的過程中，不同的地方使用不同的并行方案，在深度神經(jīng)網(wǎng)絡的卷積

3、層中使用數(shù)據(jù)并行，而在全連接層中使用模型并行；再次優(yōu)化模型在訓練過程中訪存讀取數(shù)據(jù)的性能，在模型并行結構中加入一個數(shù)據(jù)轉(zhuǎn)化層來實現(xiàn)GPU上的數(shù)據(jù)整合或者交換；最后針對訓練數(shù)據(jù)集太大的問題我們使用Mini-batch并行訓練的方法來優(yōu)化數(shù)據(jù)處理。采用多GPU加速深度神經(jīng)網(wǎng)絡的模型并行優(yōu)化設計方案，同時結合在模型并行訓練中對數(shù)據(jù)的并行處理，從而實現(xiàn)了對深度神經(jīng)網(wǎng)絡模型并行訓練的加速。
　　在Linux操作系統(tǒng)以及CUDA的編程環(huán)境下，