基于MapReduce的大數(shù)據(jù)增量處理研究.pdf

1、隨著數(shù)據(jù)獲取方式的多樣性，數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)使用的數(shù)據(jù)集規(guī)模越來(lái)越大。而隨著時(shí)間的推移，在大規(guī)模數(shù)據(jù)集的基礎(chǔ)上，新的數(shù)據(jù)也在不停的加入進(jìn)來(lái)，同時(shí)，數(shù)據(jù)集中已有的記錄也會(huì)被修改或者刪除，即數(shù)據(jù)集發(fā)生增量變，由此導(dǎo)致上一次挖掘出的結(jié)果過(guò)時(shí)。數(shù)據(jù)集一般發(fā)生增量變化時(shí)，我們需要對(duì)整個(gè)數(shù)據(jù)集重新進(jìn)行挖掘，得到實(shí)時(shí)結(jié)果，由此浪費(fèi)大量的計(jì)算資源。為了提高效率，使用增量處理技術(shù)解決數(shù)據(jù)發(fā)生增量變化是一個(gè)有效的方法。增量處理技術(shù)是使用上一次計(jì)算保存的狀態(tài)

2、，只重新處理發(fā)生增量變化的數(shù)據(jù)。
　　MapReduce是現(xiàn)流行的并行處理大數(shù)據(jù)的框架，由于其簡(jiǎn)單易用成為主流處理大數(shù)據(jù)的工具。但是MapReduce不支持增量處理數(shù)據(jù)，需要重新處理整個(gè)數(shù)據(jù)才能得到實(shí)時(shí)結(jié)果。在本論文，我們提出增量處理技術(shù)，并在MapReduce上擴(kuò)展，實(shí)現(xiàn)incr-MapReduce計(jì)算模型。本文主要貢獻(xiàn)如下:
　　(1)本文提出了在key-value層面上做增量計(jì)算的方法，并設(shè)計(jì)了一種新的文件模型MRBG

3、raph，保存細(xì)粒度的計(jì)算狀態(tài)。Incr-MapReduce根據(jù)增量數(shù)據(jù)從MRBGraph文件中匹配記錄，做增量計(jì)算并更新MRBGraph文件。
　　(2)提出增量處理技術(shù)，incr-MapReduce計(jì)算模型上不但支持批處理算法做增量計(jì)算，而且支持迭代算法做增量計(jì)算。incr-MapReduce做迭代算法的增量計(jì)算時(shí)，從上一次計(jì)算的收斂結(jié)果開始做增量迭代計(jì)算，同時(shí)使用變化傳播控制技術(shù)，能有效控制下一次迭代參與增量計(jì)算的記錄的范圍

4、。
　　(3)由于incr-MapReduce在做增量計(jì)算時(shí)，MRBStore需要頻繁從MRBGraph文件中讀取數(shù)據(jù)和更新MRGraph文件。本文使用了索引和緩沖優(yōu)化技術(shù)，減少操作MRBGraph文件的I/O次數(shù)。
　　本文使用真實(shí)數(shù)據(jù)集，在incr-MapReduce、MapReduce、Haloop和iMapReduce四個(gè)框架上執(zhí)行PageRank、GIMV、KMeans和Apriori算法，展示incr-MapRe