基于FPGA的深度信念網(wǎng)絡(luò)加速系統(tǒng)研究.pdf

1、近幾年，隨著深度學(xué)習(xí)概念的提出，以及計(jì)算能力的不斷提高，深度學(xué)習(xí)展示出了很高的科研價(jià)值和實(shí)用價(jià)值，受到了學(xué)術(shù)界和工業(yè)界的青睞。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)，是機(jī)器學(xué)習(xí)中富有生命力的一個(gè)研究領(lǐng)域，其動機(jī)在于建立、模擬人腦的神經(jīng)網(wǎng)絡(luò)，來解釋圖像、聲音和文本等數(shù)據(jù)。深度信念網(wǎng)絡(luò)是深度學(xué)習(xí)中一種基礎(chǔ)的深度神經(jīng)網(wǎng)絡(luò)類型，也是一種典型的深度生成式模型，由多層受限玻爾茲曼機(jī)堆疊而成。目前深度信念網(wǎng)絡(luò)普遍應(yīng)用于語音識別、手寫識別、文本分類等應(yīng)用領(lǐng)域。

2、
　　深度信念網(wǎng)絡(luò)屬于全連接神經(jīng)網(wǎng)絡(luò)，因此當(dāng)網(wǎng)絡(luò)規(guī)模不斷增加時(shí)，其參數(shù)量和計(jì)算量均急劇增加。如何更快速有效地處理海量數(shù)據(jù)，是深度信念網(wǎng)絡(luò)的主要研究方向之一。目前通過多核處理器集群、云計(jì)算平臺或通用圖像處理器對其加速都有比較成熟的研究，但仍存在計(jì)算效率低或能耗開銷高等問題。
　　采用現(xiàn)場可編程門陣列FPGA等可編程硬件加速深度學(xué)習(xí)算法是常用的加速手段之一?；贔PGA的深度學(xué)習(xí)加速器具有高性能、低功耗、可重構(gòu)等特點(diǎn)。本文從深度

3、信念網(wǎng)絡(luò)的預(yù)測過程出發(fā)，研究在FPGA加速平臺上對全連接結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)的高性能實(shí)現(xiàn)，并設(shè)計(jì)相應(yīng)的加速系統(tǒng)，主要工作有:
　　1.分析深度信念網(wǎng)絡(luò)的預(yù)測算法，挖掘單層網(wǎng)絡(luò)內(nèi)和多層網(wǎng)絡(luò)間的計(jì)算并行性，并根據(jù)FPGA的計(jì)算資源和存儲資源情況，設(shè)計(jì)算法的基本計(jì)算單元，實(shí)現(xiàn)單FPGA加速系統(tǒng)。為達(dá)到高吞吐率的要求，計(jì)算單元主要采用流水線設(shè)計(jì)。
　　2.將加速器設(shè)計(jì)擴(kuò)展到多FPGA加速系統(tǒng)中，將深度信念網(wǎng)絡(luò)按層橫向劃分，或?qū)觾?nèi)按塊劃分，

4、使其計(jì)算分布于多片F(xiàn)PGA上，采用流水線或并行計(jì)算進(jìn)一步提升性能。
　　3.根據(jù)實(shí)現(xiàn)的多FPGA加速系統(tǒng)，提取影響加速系統(tǒng)的關(guān)鍵因素，建立性能模型，分析不同劃分方案下的加速系統(tǒng)適用的網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用場景。
　　為了驗(yàn)證設(shè)計(jì)的硬件加速系統(tǒng)的性能和性能模型的正確性，本文通過實(shí)驗(yàn)，將加速系統(tǒng)的性能與CPU、GPGPU和傳統(tǒng)的單FPGA加速系統(tǒng)進(jìn)行對比。經(jīng)實(shí)驗(yàn)驗(yàn)證，本文實(shí)現(xiàn)的加速系統(tǒng)具備良好的加速效果，且運(yùn)行時(shí)功耗和能耗低，具有較高的