基于可重構(gòu)硬件架構(gòu)的MapReduce計(jì)算方法研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，信息量的爆炸式增長(zhǎng)，需要高效的科學(xué)計(jì)算，以滿足快速挖掘有價(jià)值信息的需求。在傳統(tǒng)的計(jì)算機(jī)上處理海量的數(shù)據(jù)需要很長(zhǎng)的時(shí)間消耗和能量代價(jià)，如何快速高效利用好海量的數(shù)據(jù)成為各行各業(yè)所面臨的嚴(yán)峻考驗(yàn)。高效利用海量數(shù)據(jù)挖掘出有價(jià)值的信息成為工業(yè)界發(fā)展的必然選擇。
　　由Google實(shí)驗(yàn)室提出的MapReduce編程模型是一種快速、簡(jiǎn)潔、高效的大數(shù)據(jù)的處理方法。其通過(guò)對(duì)大數(shù)據(jù)塊進(jìn)行子任務(wù)劃分、任務(wù)調(diào)配、并行化處理、容錯(cuò)處理

2、等進(jìn)行封裝，很大程度上簡(jiǎn)化了并行程序的設(shè)計(jì)，目前已在Google、Facebook、阿里巴巴等公司的許多項(xiàng)目中得到應(yīng)用。相比較而言，傳統(tǒng)的計(jì)算機(jī)其有限的運(yùn)算單元和存儲(chǔ)帶寬，束縛其性能和功耗無(wú)法滿足日益推成出新的應(yīng)用需求?？芍貥?gòu)計(jì)算架構(gòu)的處理系統(tǒng)兼顧了專用集成電路的高效性和通用處理器的靈活性的優(yōu)勢(shì)，其可高效并行處理計(jì)算密集型應(yīng)用的特點(diǎn)，成為解決并行計(jì)算多樣性需求的有效途徑。
　　本文針對(duì)高效處理海量數(shù)據(jù)的場(chǎng)景下，對(duì)MapReduce

3、編程模型和可重構(gòu)計(jì)算技術(shù)進(jìn)行了深入的研究;提出了將MapReduce編程模型與可重構(gòu)計(jì)算技術(shù)相結(jié)合的研究方案;選取了Kmeans聚類算法和FIR濾波算法兩種典型的算法作為目標(biāo)算法;設(shè)計(jì)了Kmeas聚類算法和FIR濾波算法的MapReduce編程，完成了這兩種算法在可重構(gòu)硬件架構(gòu)上的映射。完成了上述算法在可重構(gòu)計(jì)算平臺(tái)和通用計(jì)算平臺(tái)ATOM230上的性能對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明:在可重構(gòu)計(jì)算平臺(tái)上實(shí)現(xiàn)基于MapReduce模型并行化的Kme