基于Hadoop的重復(fù)數(shù)據(jù)刪除技術(shù)的研究與應(yīng)用.pdf

1、隨著晶體管電路越來越接近物理上的性能極限，摩爾定律已經(jīng)變得失效了，盡管如此，也不能把對大規(guī)模數(shù)據(jù)的處理的希望都寄托在越來越大型的服務(wù)器上。假如我們將現(xiàn)有的很多中低端的/商用的機器進(jìn)行組合起來，構(gòu)成一個具有專一功能的分布式系統(tǒng)，對大型數(shù)據(jù)的處理問題就迎刃而解了。
　　 分布式計算近年來的發(fā)展飛速，Hadoop平臺的成熟與穩(wěn)定成為了使用最為廣泛的平臺。本文主要從如何提高數(shù)據(jù)質(zhì)量，保證高質(zhì)量記錄這個角度出發(fā)，并以此為目的，在Hadoo

2、p分布式框架基礎(chǔ)上設(shè)計并實現(xiàn)了一個對重復(fù)數(shù)據(jù)進(jìn)行刪除的平臺。本文采用的Hadoop分布式計算框架是開源的，此外，它的穩(wěn)定性和運算效率都比較高、運行成本低廉、兼容性好，擴充力高，并且采用的Map/Reduce編程模型非常適用于本文所做的研究。
　　 如今是信息高速發(fā)展的年代，不管是個人還是企事業(yè)單位都會隨著時間的遞增產(chǎn)生越來越多是數(shù)據(jù)，而產(chǎn)生的這些數(shù)據(jù)實際上是我們不需要的信息，這時就會出現(xiàn)雖然數(shù)據(jù)多，但是有用信息少的窘迫局面，也就

3、是常說的“數(shù)據(jù)爆炸，知識貧乏”的局面。數(shù)據(jù)質(zhì)量的高低反映了數(shù)據(jù)的價值的高低，對于低質(zhì)量的數(shù)據(jù)往往是無效不可用的，此時，數(shù)據(jù)刪除這一解決數(shù)據(jù)質(zhì)量的技術(shù)成為了研究的重點。本文主要專注于重復(fù)數(shù)據(jù)刪除。
　　 本論文首先介紹了數(shù)據(jù)刪除中重復(fù)數(shù)據(jù)刪除的研究背景及其意義，還有相關(guān)課題在國內(nèi)外的研究現(xiàn)狀。并針對目前備受矚目的開源分布式架構(gòu)Hadoop進(jìn)行了相關(guān)研究，對Hadoop架構(gòu)的兩個核心技術(shù)——HDFS分布式文件系統(tǒng)與MapReduce

4、編程模型進(jìn)行了詳盡的研究與分析。此后，闡述了重復(fù)記錄刪除的相關(guān)知識和基本原理及其相應(yīng)的處理過程。
　　 其次，根據(jù)Hadoop框架處理數(shù)據(jù)的特點，搭建并配置了基于Hadoop平臺的實驗環(huán)境，重點對完全重復(fù)記錄和相似重復(fù)記錄檢測所用到算法作了比較深入的研究。以此為基礎(chǔ)，將數(shù)據(jù)根據(jù)關(guān)鍵字段進(jìn)行排序，經(jīng)過一次聚類處理后，再用單機模式對第一次聚類的數(shù)據(jù)再進(jìn)行一次聚類，實現(xiàn)了對完全重復(fù)數(shù)據(jù)以及相似重復(fù)數(shù)據(jù)的有效刪除。經(jīng)實驗和實踐驗證，采用