基于Hadoop平臺的大數(shù)據(jù)預處理關鍵技術研究與實現(xiàn).pdf

1、大數(shù)據(jù)計算和分析系統(tǒng)作為一種計算機科學發(fā)展到一定階段的必然產(chǎn)物已經(jīng)吸引了各行各業(yè)的關注。大數(shù)據(jù)的價值在于對海量數(shù)據(jù)的存儲，另一方面在于對數(shù)據(jù)的分析和處理工作。
　　海量數(shù)據(jù)要依靠文件系統(tǒng)進行存儲，海量數(shù)據(jù)的積累是一個相對緩慢的過程，數(shù)據(jù)上傳到大數(shù)據(jù)計算機群需要一定的過程。針對于在數(shù)據(jù)積累和上傳開始到數(shù)據(jù)被真正被數(shù)據(jù)處理程序處理的空閑階段。通過利用空閑階段進行數(shù)據(jù)處理，從進一步利用系統(tǒng)資源的角度針對大數(shù)據(jù)預處理系統(tǒng)進行研究。

2、　　大數(shù)據(jù)處理中數(shù)據(jù)存在數(shù)據(jù)復用率較低的情況，數(shù)據(jù)預處理是有意義的并且數(shù)據(jù)的處理對未來的處理任務干擾較低，在數(shù)據(jù)處理任務被啟動前，利用用于分析大數(shù)據(jù)的分布式系統(tǒng)中存儲節(jié)點的富裕的計算資源，在文件系統(tǒng)中存儲數(shù)據(jù)的本地節(jié)點上進行預處理任務。目的在于將系統(tǒng)中可利用的計算資源使用起來，提高系統(tǒng)的資源利用率，通過預處理作業(yè)后可以降低數(shù)據(jù)處理任務對計算資源的需求，并且預處理后的數(shù)據(jù)由于數(shù)據(jù)體積降低而降低對網(wǎng)絡帶寬的占用。
　　Hadoop作為

3、MapReduce編程模型的實現(xiàn)，作為一種典型的大數(shù)據(jù)分析系統(tǒng)被廣泛的使用。Hadoop系統(tǒng)中包含了諸多的功能插件，也包含有作為數(shù)據(jù)存儲的Hadoop文件系統(tǒng)。針對Hadoop系統(tǒng)的特點，對Hadoop平臺上的大數(shù)據(jù)預處理系統(tǒng)進行研究和實現(xiàn)，并針對WordCount程序構建了預處理系統(tǒng)的原型系統(tǒng)。
　　通過針對Hadoop平臺上WordConnt程序的數(shù)據(jù)預處理系統(tǒng)的實現(xiàn)和測試，驗證了數(shù)據(jù)預處理系統(tǒng)在減少磁盤I/O使用，壓縮數(shù)據(jù)體