大數(shù)據(jù)清洗系統(tǒng)中優(yōu)化技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著IT技術(shù)的發(fā)展，信息數(shù)據(jù)充滿著現(xiàn)代生活的每一個(gè)角落，大數(shù)據(jù)時(shí)代的來臨更使得這些數(shù)據(jù)更為耀眼。人們瘋狂地從數(shù)據(jù)中汲取營養(yǎng)的同時(shí)，數(shù)據(jù)質(zhì)量問題也逐漸暴露出來，例如數(shù)據(jù)冗余、數(shù)據(jù)不一致、錯(cuò)誤數(shù)據(jù)、缺失數(shù)據(jù)等。因此數(shù)據(jù)質(zhì)量在大數(shù)據(jù)時(shí)代顯得尤為重要，海量信息的數(shù)據(jù)清洗與容錯(cuò)管理系統(tǒng)應(yīng)運(yùn)而生?，F(xiàn)有的對(duì)海量數(shù)據(jù)處理的信息系統(tǒng)一般都運(yùn)行在時(shí)下最流行的開源框架Hadoop上，但是由于各種各樣的原因，往往效率低下。
　　數(shù)據(jù)質(zhì)量問題會(huì)對(duì)大數(shù)據(jù)的應(yīng)

2、用產(chǎn)生致命影響，因此需要對(duì)存在數(shù)據(jù)質(zhì)量問題的大數(shù)據(jù)進(jìn)行清洗。MapReduce編程框架可以利用并行技術(shù)實(shí)現(xiàn)高可擴(kuò)展性的大數(shù)據(jù)清洗，然而，由于缺乏有效的設(shè)計(jì)，在基于MapReduce的數(shù)據(jù)清洗過程中存在計(jì)算的冗余，導(dǎo)致性能的降低。因此本文的目的是對(duì)并行數(shù)據(jù)清洗過程進(jìn)行優(yōu)化從而提高效率。
　　本文做出了如下工作。首先，通過研究發(fā)現(xiàn)數(shù)據(jù)清洗中一些任務(wù)往往都運(yùn)行在同一輸入文件上或者利用同樣的運(yùn)算結(jié)果，基于該發(fā)現(xiàn)本文提出了一種新的優(yōu)化技術(shù)—

3、—基于任務(wù)合并的優(yōu)化技術(shù)。針對(duì)冗余計(jì)算和利用同一輸入文件的簡(jiǎn)單計(jì)算進(jìn)行合并，通過這種合并可以減少M(fèi)apReduce的輪數(shù)從而減少系統(tǒng)運(yùn)行的時(shí)間，最終達(dá)到系統(tǒng)優(yōu)化的目標(biāo)。第二，本文提出的FLI三層體系讓我們從一個(gè)系統(tǒng)優(yōu)化的視角去分析軟件系統(tǒng)，和基于任務(wù)合并的優(yōu)化技術(shù)一道，建立了一整套從系統(tǒng)分析到具體實(shí)施的數(shù)據(jù)清洗優(yōu)化理論。第三，本文針對(duì)數(shù)據(jù)清洗過程中多個(gè)復(fù)雜的模塊進(jìn)行了優(yōu)化，具體來說分別對(duì)實(shí)體識(shí)別模塊、不一致數(shù)據(jù)修復(fù)模塊和缺失值填充模塊進(jìn)