基于MapReduce的數(shù)據(jù)聚集運算處算法研究與實現(xiàn).pdf

1、信息化技術的不斷深入應用，特別是網(wǎng)絡技術的迅速發(fā)展，導致了數(shù)據(jù)的規(guī)模急劇增長。因此，如何保證海量數(shù)據(jù)的有效存儲和管理，提高針對海量數(shù)據(jù)的處理效率成為人們日益關注的焦點。聚集運算是數(shù)據(jù)預處理中最典型操作之一，對提高查詢效率有著非常重要的意義，但是聚集運算非常耗費計算資源，特別是針對海量級別數(shù)據(jù)的聚集運算，更是需要巨大的計算能力和存儲能力，而普通的PC機難以提供這樣的計算資源，所以研究適合海量數(shù)據(jù)的聚集運算具有重要意義。
　　本文通過

2、詳細研究了Google的分布式文件系統(tǒng)(GFS)以及MapReduce并行計算框架，充分利用該分布式文件系統(tǒng)的高擴展型、高容錯性等特性，結合MapReduce在處理大規(guī)模數(shù)據(jù)集時的并行性處理特性，提出了一組面向海量數(shù)據(jù)的數(shù)據(jù)聚集運算算法，該組算法主要包括基于MapReduce的關系型數(shù)據(jù)的選擇、投影以及等值連接等算法，并在此基礎之上，實現(xiàn)了基于MapReduce的計數(shù)（Count）、求和(Sum)、均值(Average)、最大值(Max

3、)和最小值(Min)等聚集運算，形成了比較完整的面向海量數(shù)據(jù)的聚集運算算法。該套算法充分利用了集群系統(tǒng)的計算能力和存儲能力，以及集群系統(tǒng)的網(wǎng)絡帶寬，極大的提高了海量數(shù)據(jù)的聚集運算效率，有效地減少了的運算時間，提高了基于聚集運算結果上的數(shù)據(jù)查詢效率。
　　本文還在以上聚集運算算法的基礎上，實現(xiàn)了基于MapReduce的全局封閉數(shù)據(jù)立方體生成算法，以及在全局封閉數(shù)據(jù)立方體上的查詢算法。實驗表明該算法充分發(fā)揮了集群系統(tǒng)的并行處理能力，可