多GPU環(huán)境下的卷積神經(jīng)網(wǎng)絡(luò)并行算法.pdf

1、隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)憑借其優(yōu)異的識別性能，在圖像識別等領(lǐng)域受到了越來越多的關(guān)注。由于神經(jīng)網(wǎng)絡(luò)模型通常包含大量參數(shù)，訓(xùn)練一個可用的卷積神經(jīng)網(wǎng)絡(luò)非常耗時。因此如何加速神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程，是深度學(xué)習(xí)領(lǐng)域的一個重要研究課題。為了解決該問題，通常采用多GPU并行的方式。多GPU并行加速訓(xùn)練過程的思路主要分為模型并行和數(shù)據(jù)并行?；谀Ｐ筒⑿械乃惴y以達到負載均衡，加速性能相對較差;基于數(shù)據(jù)并行的算法中，目前的并行結(jié)構(gòu)都存在無

2、法均勻分配更新任務(wù)的問題，難以充分利用計算資源。
　　針對上述問題，在調(diào)研了現(xiàn)有的多GPU并行算法的基礎(chǔ)上，本文借鑒了異步隨機梯度下降算法中延時更新的思想，提出一種基于環(huán)形結(jié)構(gòu)的數(shù)據(jù)并行方案，該方案可以進一步提高多GPU的并行效率。本文的主要工作如下::
　　1)分析卷積神經(jīng)網(wǎng)絡(luò)的隱藏層結(jié)構(gòu)。使用隨機梯度下降算法進行模型訓(xùn)練，并在此基礎(chǔ)上，推導(dǎo)出卷積層、下采樣層和全連接層中可訓(xùn)練參數(shù)的計算公式，為后續(xù)的并行算法設(shè)計以及代碼實

3、現(xiàn)做準(zhǔn)備。
　　2)給出了基于環(huán)形結(jié)構(gòu)的數(shù)據(jù)并行方案。比較模型并行和數(shù)據(jù)并行的特點后，為了具備更好的可擴展性，進一步研究數(shù)據(jù)并行。針對現(xiàn)有數(shù)據(jù)并行方案中，無法均勻分配更新任務(wù)的問題，提出一種以環(huán)形結(jié)構(gòu)組織GPU節(jié)點的方案。該方案中每個GPU都需要訓(xùn)練和更新模型，計算任務(wù)被均勻劃分。最后從理論上分析了該方案的并行性能。
　　3)在多GPU上實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)。根據(jù)卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練公式，實現(xiàn)單GPU版本的代碼，并選擇合適的模

4、型參數(shù)初始化方案。在此基礎(chǔ)上，通過設(shè)置恰當(dāng)?shù)耐椒桨?，以環(huán)形結(jié)構(gòu)組織GPU間的數(shù)據(jù)傳輸，實現(xiàn)數(shù)據(jù)并行。此外，每個GPU將創(chuàng)建兩個線程分別負責(zé)計算和傳輸，實現(xiàn)任務(wù)的并行，達到使用計算掩蓋傳輸?shù)男Ч?br>　　4)對基于環(huán)形結(jié)構(gòu)的數(shù)據(jù)并行方案進行實驗與分析。在MNIST和CIFAR-10數(shù)據(jù)集上，使用基于環(huán)形結(jié)構(gòu)的并行方案訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。當(dāng)GPU個數(shù)為4時，分別取得了3.77和3.79倍的加速比。此外還與使用同步主從結(jié)構(gòu)、歸約樹結(jié)構(gòu)來訓(xùn)