基于CUDA加速深度信念網(wǎng)絡(luò)的手寫識別系統(tǒng)研究與實現(xiàn).pdf

1、近年來，深度學(xué)習(xí)在工業(yè)界的各個領(lǐng)域都發(fā)展迅速，而在手寫識別方面深度學(xué)習(xí)還未被廣泛使用，因而需要是對深度信念網(wǎng)絡(luò)進行研究以提高對手寫字符的識別率。但與此同時，由于深度信念網(wǎng)絡(luò)的計算復(fù)雜度很高，如果要對大規(guī)模的數(shù)據(jù)進行訓(xùn)練，不能只靠單線程來運行該程序，需要更多的考慮其中的并行部分并用多線程實現(xiàn)，以加速其運行速度。
　　本文實現(xiàn)的手寫識別系統(tǒng)，即在CUDA(Compute Unified Device Architecture，計算統(tǒng)一

2、設(shè)備架構(gòu))架構(gòu)下對深度信念網(wǎng)絡(luò)進行了并行加速，并采用了多種并行技術(shù)以達到最優(yōu)的加速比。在保證深度信念網(wǎng)絡(luò)可以高效的訓(xùn)練模型的前提下，本文對深度信念網(wǎng)絡(luò)進行了進一步的研究，主要從提高模型對手寫字符識別率，減小模型大小，加快解碼速度，加快訓(xùn)練速度幾方面對深度信念網(wǎng)絡(luò)進行改進。
　　本文首先分析了深度信念網(wǎng)絡(luò)并行性，主要從任務(wù)并行和數(shù)據(jù)并行兩方面對算法進行分析，而后利用GPU(Graphics Processing Unit,圖形處理器

3、)的多線程進行并行計算，并采用共享內(nèi)存、合并訪問、流處理等技術(shù)對其并行計算部分進行優(yōu)化?？紤]到深度信念網(wǎng)絡(luò)所采用的不同的反饋算法，本文分別用CUDA C實現(xiàn)了共軛梯度下反饋，用CUDA Python實現(xiàn)了隨機梯度反饋。在保證深度信念網(wǎng)絡(luò)訓(xùn)練速度后，本文針對手寫字符數(shù)據(jù)對算法進行了改進，主要是采用了模型稀疏化、低階轉(zhuǎn)換、rectify隱藏層以及優(yōu)化共軛梯度下降的方法對深度信念網(wǎng)絡(luò)進行優(yōu)化。本文最后根據(jù)訓(xùn)練的模型，對手寫字符進行識別。