基于Spark的大數(shù)據(jù)清洗框架設(shè)計與實現(xiàn).pdf

1、大數(shù)據(jù)技術(shù)之中核心是數(shù)據(jù)分析，但在真正解決大數(shù)據(jù)問題之時，三分之二的工作量都是在大數(shù)據(jù)清洗，大數(shù)據(jù)清洗是開始大數(shù)據(jù)處理的基礎(chǔ)，所以，高效的大數(shù)據(jù)清洗技術(shù)不僅能有效地提高大數(shù)據(jù)質(zhì)量，也可以加快整體大數(shù)據(jù)處理的流程。
　　本論文設(shè)計實現(xiàn)了一套基于Spark的大數(shù)據(jù)清洗框架，原理是充分利用Spark分布式計算能力，將彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets，RDDs)的操作，封裝成大數(shù)據(jù)清洗的任務(wù)單

2、元，通過組合，串聯(lián)成完整的大數(shù)據(jù)清洗流水線，實現(xiàn)大數(shù)據(jù)清洗。同時提出了多叉樹計算流結(jié)構(gòu)，優(yōu)化大數(shù)據(jù)清洗流程。該框架能夠重用大數(shù)據(jù)清洗功能組件，靈活配置清洗流程，充分利用Spark的高速計算性能，實現(xiàn)高可擴展性，滿足實際環(huán)境中復(fù)雜的大數(shù)據(jù)清洗需求，徹底解決大數(shù)據(jù)清洗問題，加快整體大數(shù)據(jù)處理流程。
　　實驗證明，基于該大數(shù)據(jù)清洗框架，能夠極大降低清洗流程的耦合性，利用已有的清洗單元，靈活地實現(xiàn)復(fù)雜的大數(shù)據(jù)清洗，極大降低了大數(shù)據(jù)清洗的成