連接操作在Spark框架上的實(shí)現(xiàn)與優(yōu)化.pdf

1、近年來大量出現(xiàn)的智能手機(jī)、平板、可穿戴設(shè)備和物聯(lián)網(wǎng)設(shè)備每時(shí)每刻都在產(chǎn)生大量的新數(shù)據(jù)，人們進(jìn)入了一個(gè)大數(shù)據(jù)時(shí)代。如何有效快速處理這些大規(guī)模、復(fù)雜的數(shù)據(jù)集已經(jīng)成為亟待解決的問題。大數(shù)據(jù)處理平臺(tái)通常包含多個(gè)重要組件，如存儲(chǔ)、集群調(diào)度、容錯(cuò)、數(shù)據(jù)處理引擎與計(jì)算算法等，其中數(shù)據(jù)處理引擎是核心組件之一。
　　Spark于2009年誕生在AMPLab，與基于I/O的Hadoop相比，其基于內(nèi)存的計(jì)算模型在性能上具有極大的優(yōu)勢(shì)，在迭代計(jì)算方面尤其

2、如此。在Spark核心基礎(chǔ)上形成的Spark Streaming、Spark SQL、MLlib、GraphX、SparkR等組件構(gòu)成了良好的Spark生態(tài)系統(tǒng)。為了支持結(jié)構(gòu)化數(shù)據(jù)處理，Spark SQL組件應(yīng)運(yùn)而生，它能夠?qū)QL語句轉(zhuǎn)化為以Spark為引擎的作業(yè)并兼容支持Hive。
　　通過廣泛的文獻(xiàn)調(diào)研，在分析了Spark的相關(guān)背景、應(yīng)用與架構(gòu)的基礎(chǔ)上，通過大量的源碼閱讀學(xué)習(xí)和上機(jī)實(shí)驗(yàn)對(duì)Spark SQL組件的詳細(xì)實(shí)現(xiàn)做了深

3、入研究，并選定連接操作算法研究作為主要研究內(nèi)容。分析了現(xiàn)有內(nèi)連接、半連接、外連接三類JOIN算法的不足，提出了更加適用于有小表參與的SelectedBroadcastHashOuterJoin算法和支持非等值外連接的SortMergeOuterJoin算法。在有小表參與的連接操作中提出了基于Hash的小表數(shù)據(jù)去重優(yōu)化思想，在大表等值連接操作中提出了基于Bloom Filter的無效數(shù)據(jù)過濾優(yōu)化思想，進(jìn)行了算法與優(yōu)化的詳細(xì)設(shè)計(jì)并在Spar

4、k SQL組件中加以實(shí)現(xiàn)。
　　在以上工作基礎(chǔ)上，租用阿里云資源，搭建Spark集群平臺(tái)，用測試數(shù)據(jù)對(duì)算法和優(yōu)化實(shí)現(xiàn)的正確性和性能進(jìn)行了實(shí)驗(yàn)。測試結(jié)果證明，在有較小數(shù)據(jù)表參與的外連接中，SelectedBroadcastHashOuterJoin比現(xiàn)有HashOuterJoin算法提升了約20％的性能；SortMergeOuter在保持了與現(xiàn)有平臺(tái)相近性能的基礎(chǔ)上可以有效地支持非等值外連接操作；基于Hash的小表數(shù)據(jù)去重優(yōu)化在小表