面向大數(shù)據(jù)處理的圖搜索與深度學(xué)習(xí)算法并行優(yōu)化技術(shù)研究.pdf

1、伴隨著信息技術(shù)的迅速發(fā)展，數(shù)據(jù)為王的大數(shù)據(jù)時代已然到來，戰(zhàn)略需求也發(fā)生了重大改變。數(shù)據(jù)是與自然資源、人力資源一樣重要的戰(zhàn)略資源，隱含了巨大的經(jīng)濟價值。如何有效的組織和處理大數(shù)據(jù)，將對社會經(jīng)濟的發(fā)展起到巨大的作用。針對各種復(fù)雜系統(tǒng)得到的數(shù)據(jù)，通過數(shù)據(jù)之間關(guān)聯(lián)關(guān)系整合成一個網(wǎng)絡(luò)，因此大數(shù)據(jù)面臨的科學(xué)問題本質(zhì)上就是網(wǎng)絡(luò)科學(xué)問題。如何挖掘數(shù)據(jù)之間的相互關(guān)系，并將這種關(guān)聯(lián)關(guān)系進行快速的分析處理是目前的一個研究熱點。圖搜索和深度學(xué)習(xí)算法在大數(shù)據(jù)處理

2、中發(fā)揮了至關(guān)重要的作用。圖搜索算法對數(shù)據(jù)網(wǎng)絡(luò)進行查詢、聚類、匹配等操作，從而將數(shù)據(jù)網(wǎng)絡(luò)根據(jù)數(shù)據(jù)關(guān)聯(lián)關(guān)系劃分成連通子圖，深度學(xué)習(xí)算法則對數(shù)據(jù)連通子圖中紛繁復(fù)雜的數(shù)據(jù)進行特征抽取和分類，從而提取用戶需要的關(guān)鍵信息。反之，深度學(xué)習(xí)算法可以對大數(shù)據(jù)中的數(shù)據(jù)進行數(shù)據(jù)挖掘、特征識別和分類，從而將一些看似孤立的數(shù)據(jù)劃分為具有各種特征的數(shù)據(jù)網(wǎng)絡(luò)，如蛋白質(zhì)數(shù)據(jù)構(gòu)成的蛋白質(zhì)網(wǎng)絡(luò)、Web數(shù)據(jù)構(gòu)成的社會網(wǎng)絡(luò)等等，之后圖搜索對這些網(wǎng)絡(luò)進行進一步數(shù)據(jù)挖掘，如求聚集

3、參數(shù)、連通子圖、最大獨立子集等等。面對大數(shù)據(jù)處理，速度成為一個至關(guān)重要的問題，因此圖搜索和深度學(xué)習(xí)的速度優(yōu)化成為當(dāng)前研究的一個熱點，同時也是一個難點。
　　本文針對大數(shù)據(jù)的處理，重點對圖搜索和深度學(xué)習(xí)算法進行了加速研究。首先研究了當(dāng)前大數(shù)據(jù)的特點，并調(diào)研了相關(guān)應(yīng)用。其次在CPU平臺上利用OpenMP并行模型對圖搜索算法進行并行優(yōu)化，并利用程序的局部性原理、降低同步開銷以及負(fù)載均衡的方法對算法進行了并行優(yōu)化。再次針對圖搜索算法訪存不

4、規(guī)則等特性，定制了FPGA算法硬件加速器。提出了使用流水線和多PE（Processing Element，處理單元）消息傳遞的實現(xiàn)方法，并針對硬件流水線并行實現(xiàn)的特點，提出了使用細(xì)粒度流水線優(yōu)化的方法。最后對DBN（Deep Belief Nets，深度信念網(wǎng)絡(luò)）這一深度學(xué)習(xí)算法的工作流程進行了介紹，并總結(jié)了算法的運算特征。然后使用基于指令集的匯編語言將分類函數(shù)翻譯成匯編程序，并對程序進行了性能評估。最后介紹了深度學(xué)習(xí)算法硬件加速的開發(fā)