基于GPU的深度學(xué)習(xí)算法并行化研究.pdf

1、由于深度學(xué)習(xí)在圖像識別、語音識別、自然語言處理等領(lǐng)域表現(xiàn)突出，已經(jīng)成為學(xué)術(shù)界和工業(yè)界的研究熱點。神經(jīng)網(wǎng)絡(luò)中通常包含大量可訓(xùn)練的參數(shù)，因此訓(xùn)練出一個性能良好的神經(jīng)網(wǎng)絡(luò)需要耗費大量時間。另一方面，為了能從海量的數(shù)據(jù)中學(xué)習(xí)到更有價值的特征，深度神經(jīng)網(wǎng)絡(luò)的層次正不斷加深，進一步增加了網(wǎng)絡(luò)訓(xùn)練的耗時。如何提高網(wǎng)絡(luò)的訓(xùn)練速度、縮短網(wǎng)絡(luò)的訓(xùn)練周期已經(jīng)成為深度學(xué)習(xí)領(lǐng)域的一個重要研究方向。
　　近年來，圖形處理器GPU的通用計算技術(shù)得到了迅速的發(fā)展

2、，現(xiàn)在主流GPU的浮點運算能力已經(jīng)是主流CPU的十多倍。GPU由于其強大的并行計算能力、高吞吐量等優(yōu)勢已經(jīng)成為高性能計算領(lǐng)域的主流加速器。
　　基于以上分析，對現(xiàn)有的并行加速算法進行了充分研究后，本文借鑒了將卷積運算展開成矩陣運算的思想，基于CUDA計算框架實現(xiàn)了對深度學(xué)習(xí)算法的并行加速，進一步提高了GPU的并行效率。本文的主要工作如下:
　　1)分析了神經(jīng)網(wǎng)絡(luò)的基本思想、網(wǎng)絡(luò)結(jié)構(gòu)，并對傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)中的反向傳播算法進行了

3、詳細研究。重點研究了卷積神經(jīng)網(wǎng)絡(luò)的稀疏連接和權(quán)值共享的特性，對卷積神經(jīng)網(wǎng)絡(luò)中的卷積計算、池化處理以及梯度計算過程進行了詳細完整地推導(dǎo)，為深度神經(jīng)網(wǎng)絡(luò)的并行化實現(xiàn)提供理論指導(dǎo)。研究了GPU的硬件性能以及CUDA的線程結(jié)構(gòu)、存儲結(jié)構(gòu)和編程模型。
　　2)采用卷積運算展開成矩陣運算的思想以及ReLu激活函數(shù)等方法，基于CUDA平臺，在GPU上設(shè)計并實現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)中的卷積層、采樣層、全連接層和激活層的前向計算、反向傳播以及參數(shù)更新過程

4、，然后給出了神經(jīng)網(wǎng)絡(luò)的搭建步驟以及參數(shù)初始化方法，最后描述了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程。
　　3)利用已經(jīng)實現(xiàn)的隱藏層分別構(gòu)建出LeNet-5、CIFAR-10和AlexNet這三種規(guī)模不同的神經(jīng)網(wǎng)絡(luò)。然后分別基于MNIST數(shù)據(jù)集、CIFAR-10數(shù)據(jù)集和ImageNet數(shù)據(jù)集在CPU和GPU上對三種神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，并分析網(wǎng)絡(luò)中各網(wǎng)絡(luò)層的前向計算和反向傳播時間。三個神經(jīng)網(wǎng)絡(luò)在準確率沒有下降的情況下，在GPU上的加速比分別為8.1，33.