SQL到SPARK查詢優(yōu)化機制研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展以及各類新型互聯(lián)網(wǎng)應(yīng)用的普及，企業(yè)與研究機構(gòu)面臨的數(shù)據(jù)規(guī)模已經(jīng)高速膨脹到了TB級乃至PB級。近些年來，伴隨著內(nèi)存價格的下降，為了進一步提升大數(shù)據(jù)處理性能，基于內(nèi)存的存儲與計算逐步成為新的熱點。Spark作為其中的代表，以彈性分布式數(shù)據(jù)集RDD為核心，實現(xiàn)了一個輕量高速可拓展的分布式內(nèi)存計算框架。然而當(dāng)前Spark上層的高級查詢工具Spark SQL的查詢翻譯沒有針對多查詢進行優(yōu)化，批處理提交SQL查詢語句被翻譯為不同

2、的Spark作業(yè)，作業(yè)之間無法共享數(shù)據(jù)，無法充分發(fā)揮Spark內(nèi)存計算的優(yōu)勢。本文針對Spark SQL存在的問題，對SQL到Spark作業(yè)查詢優(yōu)化機制進行了研究。
　　本文深入分析了Spark SQL的工作流程，結(jié)合SQL查詢的特點，在底層持久化文件系統(tǒng)與Spark核心間加入存儲中間層以解決查詢間輸入數(shù)據(jù)的共享問題，并在復(fù)用現(xiàn)有分布式文件系統(tǒng)設(shè)計的基礎(chǔ)上，通過合理的內(nèi)存資源分配、高效的數(shù)據(jù)存儲結(jié)構(gòu)、低消耗的容錯恢復(fù)設(shè)計優(yōu)化查詢數(shù)

3、據(jù)的輸入過程。在此基礎(chǔ)上，引入多查詢?nèi)蝿?wù)數(shù)據(jù)管理模塊對存儲中間層進行管理，通過介入查詢?nèi)蝿?wù)，實現(xiàn)數(shù)據(jù)的一次載入、多次使用、及時釋放，并針對數(shù)據(jù)載入存儲中間層時面臨的數(shù)據(jù)載入節(jié)點選擇問題，提出了基于代價模型的數(shù)據(jù)載入節(jié)點選擇策略，建立了Spark作業(yè)執(zhí)行代價的數(shù)學(xué)模型，對查詢作業(yè)的耗費進行預(yù)估，基于代價模型選擇適當(dāng)?shù)臄?shù)據(jù)載入節(jié)點，實現(xiàn)集群資源的高效利用，提高系統(tǒng)運行的效率，加快查詢?nèi)蝿?wù)的執(zhí)行速度。
　　本文在現(xiàn)有Spark SQL的