基于可重構硬件架構的MapReduce計算方法研究與實現.pdf

1、隨著互聯(lián)網的飛速發(fā)展，信息量的爆炸式增長，需要高效的科學計算，以滿足快速挖掘有價值信息的需求。在傳統(tǒng)的計算機上處理海量的數據需要很長的時間消耗和能量代價，如何快速高效利用好海量的數據成為各行各業(yè)所面臨的嚴峻考驗。高效利用海量數據挖掘出有價值的信息成為工業(yè)界發(fā)展的必然選擇。
　　由Google實驗室提出的MapReduce編程模型是一種快速、簡潔、高效的大數據的處理方法。其通過對大數據塊進行子任務劃分、任務調配、并行化處理、容錯處理

2、等進行封裝，很大程度上簡化了并行程序的設計，目前已在Google、Facebook、阿里巴巴等公司的許多項目中得到應用。相比較而言，傳統(tǒng)的計算機其有限的運算單元和存儲帶寬，束縛其性能和功耗無法滿足日益推成出新的應用需求。可重構計算架構的處理系統(tǒng)兼顧了專用集成電路的高效性和通用處理器的靈活性的優(yōu)勢，其可高效并行處理計算密集型應用的特點，成為解決并行計算多樣性需求的有效途徑。
　　本文針對高效處理海量數據的場景下，對MapReduce

3、編程模型和可重構計算技術進行了深入的研究;提出了將MapReduce編程模型與可重構計算技術相結合的研究方案;選取了Kmeans聚類算法和FIR濾波算法兩種典型的算法作為目標算法;設計了Kmeas聚類算法和FIR濾波算法的MapReduce編程，完成了這兩種算法在可重構硬件架構上的映射。完成了上述算法在可重構計算平臺和通用計算平臺ATOM230上的性能對比實驗，實驗結果表明:在可重構計算平臺上實現基于MapReduce模型并行化的Kme