基于Spark的大數(shù)據(jù)清洗框架設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)技術(shù)之中核心是數(shù)據(jù)分析，但在真正解決大數(shù)據(jù)問(wèn)題之時(shí)，三分之二的工作量都是在大數(shù)據(jù)清洗，大數(shù)據(jù)清洗是開(kāi)始大數(shù)據(jù)處理的基礎(chǔ)，所以，高效的大數(shù)據(jù)清洗技術(shù)不僅能有效地提高大數(shù)據(jù)質(zhì)量，也可以加快整體大數(shù)據(jù)處理的流程。
　　本論文設(shè)計(jì)實(shí)現(xiàn)了一套基于Spark的大數(shù)據(jù)清洗框架，原理是充分利用Spark分布式計(jì)算能力，將彈性分布式數(shù)據(jù)集(Resilient Distributed Datasets，RDDs)的操作，封裝成大數(shù)據(jù)清洗的任務(wù)單

2、元，通過(guò)組合，串聯(lián)成完整的大數(shù)據(jù)清洗流水線，實(shí)現(xiàn)大數(shù)據(jù)清洗。同時(shí)提出了多叉樹(shù)計(jì)算流結(jié)構(gòu)，優(yōu)化大數(shù)據(jù)清洗流程。該框架能夠重用大數(shù)據(jù)清洗功能組件，靈活配置清洗流程，充分利用Spark的高速計(jì)算性能，實(shí)現(xiàn)高可擴(kuò)展性，滿足實(shí)際環(huán)境中復(fù)雜的大數(shù)據(jù)清洗需求，徹底解決大數(shù)據(jù)清洗問(wèn)題，加快整體大數(shù)據(jù)處理流程。
　　實(shí)驗(yàn)證明，基于該大數(shù)據(jù)清洗框架，能夠極大降低清洗流程的耦合性，利用已有的清洗單元，靈活地實(shí)現(xiàn)復(fù)雜的大數(shù)據(jù)清洗，極大降低了大數(shù)據(jù)清洗的成