連接操作在Spark框架上的實現與優(yōu)化.pdf

1、近年來大量出現的智能手機、平板、可穿戴設備和物聯(lián)網設備每時每刻都在產生大量的新數據，人們進入了一個大數據時代。如何有效快速處理這些大規(guī)模、復雜的數據集已經成為亟待解決的問題。大數據處理平臺通常包含多個重要組件，如存儲、集群調度、容錯、數據處理引擎與計算算法等，其中數據處理引擎是核心組件之一。
　　Spark于2009年誕生在AMPLab，與基于I/O的Hadoop相比，其基于內存的計算模型在性能上具有極大的優(yōu)勢，在迭代計算方面尤其

2、如此。在Spark核心基礎上形成的Spark Streaming、Spark SQL、MLlib、GraphX、SparkR等組件構成了良好的Spark生態(tài)系統(tǒng)。為了支持結構化數據處理，Spark SQL組件應運而生，它能夠將SQL語句轉化為以Spark為引擎的作業(yè)并兼容支持Hive。
　　通過廣泛的文獻調研，在分析了Spark的相關背景、應用與架構的基礎上，通過大量的源碼閱讀學習和上機實驗對Spark SQL組件的詳細實現做了深

3、入研究，并選定連接操作算法研究作為主要研究內容。分析了現有內連接、半連接、外連接三類JOIN算法的不足，提出了更加適用于有小表參與的SelectedBroadcastHashOuterJoin算法和支持非等值外連接的SortMergeOuterJoin算法。在有小表參與的連接操作中提出了基于Hash的小表數據去重優(yōu)化思想，在大表等值連接操作中提出了基于Bloom Filter的無效數據過濾優(yōu)化思想，進行了算法與優(yōu)化的詳細設計并在Spar

4、k SQL組件中加以實現。
　　在以上工作基礎上，租用阿里云資源，搭建Spark集群平臺，用測試數據對算法和優(yōu)化實現的正確性和性能進行了實驗。測試結果證明，在有較小數據表參與的外連接中，SelectedBroadcastHashOuterJoin比現有HashOuterJoin算法提升了約20％的性能；SortMergeOuter在保持了與現有平臺相近性能的基礎上可以有效地支持非等值外連接操作；基于Hash的小表數據去重優(yōu)化在小表