面向OLAP的大規(guī)模分布式內(nèi)存列式數(shù)據(jù)庫查詢引擎.pdf

1、聯(lián)機分析處理（On-line Analytical Processing, OLAP）是數(shù)據(jù)庫領域的主要應用，但隨著數(shù)據(jù)量的日益膨脹，如何在海量數(shù)據(jù)中快速挖掘出數(shù)據(jù)潛在的價值成為當下數(shù)據(jù)庫領域的一個重大挑戰(zhàn)?，F(xiàn)有的分布式數(shù)據(jù)庫系統(tǒng)在查詢引擎的選擇上分為兩大類，一類是采用通用計算引擎諸如Map/Reduce或Spark，其最大的缺陷在于，Map/Reduce和Spark在計算模型上仍然屬于同步計算模型，在計算上存在同步過程，導致較大的查詢

2、延遲，此外基于Spark的分布式數(shù)據(jù)庫系統(tǒng)存在過高的計算內(nèi)存開銷。另一類分布式數(shù)據(jù)庫系統(tǒng)采用專用分布式查詢引擎，諸如Impala以及HAWQ等。這類系統(tǒng)將傳統(tǒng)數(shù)據(jù)庫查詢模型并行化，一定程度上突破了傳統(tǒng)數(shù)據(jù)的計算瓶頸，然而這類數(shù)據(jù)庫依然存在如下不足：1）計算模型沿用傳統(tǒng)數(shù)據(jù)庫的volcano模型即按行查詢，然而在OLAP業(yè)務中，采用按行查詢的方式會引入過多的中間數(shù)據(jù)導致額外的運算開銷。2）在分布式計算任務調(diào)度上沒有很好的調(diào)度算法來提升整體

3、的查詢速度以及集群資源利用率。
　　本文針對上述系統(tǒng)中存在的缺陷，提出了一種新型的面向OLAP的大規(guī)模分布式內(nèi)存列式數(shù)據(jù)庫查詢引擎，該引擎在處理海量數(shù)據(jù)時擁有較低的查詢延遲以及內(nèi)存開銷。論文主要有三方面工作：1）對時下業(yè)界熱門的分布式數(shù)據(jù)庫查詢引擎進行研究與分析，按照通用數(shù)據(jù)庫計算引擎和專用數(shù)據(jù)庫計算引擎對其進行分類，提煉其主要優(yōu)缺點；將分布式計算任務調(diào)度抽象為工作流調(diào)度問題（workflow scheduling），研究對比現(xiàn)有

4、的啟發(fā)式算法，主要包括List Scheduling類算法與遺傳算法。2）設計并實現(xiàn)了一套高效的基于列式語義的分布式內(nèi)存數(shù)據(jù)庫計算引擎，支持從SQL解析到結果數(shù)據(jù)生成這一完整的查詢流程，支持海量數(shù)據(jù)的實時查詢并具有良好的容錯性能。3）設計并實現(xiàn)了一套分布式任務調(diào)度優(yōu)化算法，能靈活適應變化的查詢場景并快速提供有效的調(diào)度優(yōu)化方案。
　　在系統(tǒng)設計與實現(xiàn)上，本文主要有三點創(chuàng)新：1）采用數(shù)據(jù)流圖表示SQL查詢?nèi)蝿眨凑樟惺綌?shù)據(jù)庫語義，全異

5、步地推進任務的執(zhí)行，消除在同步計算模型中因同步過程所帶來的計算開銷。2）設計并實現(xiàn)高效的列式中間數(shù)據(jù)結構，具有很好的序列化與反序列化性能并能有效減少內(nèi)存碎片。3）結合深度增強學習算法與傳統(tǒng)啟發(fā)式調(diào)度算法提出了一種新型的分布式任務調(diào)度方法來解決工作流調(diào)度問題，具有很好的靈活性以及調(diào)度結果。
　　最后，本文從查詢引擎計算模型的查詢性能以及調(diào)度優(yōu)化算法的調(diào)度效果兩方面對查詢引擎進行測試。其中，針對查詢性能的測試，本文引入標準的面向OLA

6、P數(shù)據(jù)庫測試集TPC-H對查詢引擎進行全面的功能測試以及性能測試；針對調(diào)度優(yōu)化算法，將本文所設計的算法與其他經(jīng)典的啟發(fā)式算法調(diào)度結果進行對比。測試結果顯示，本文所設計的查詢引擎在單表掃描語句性能上是Spark-SQL的10倍，是Hive-on-tez的20倍，在Join語句性能上和Spark-SQL持平，在分組聚合語句上性能是Spark-SQL的5倍。在內(nèi)存開銷上本文設計的查詢引擎是Spark-SQL的1/8。在調(diào)度優(yōu)化算法上，調(diào)度結果