列存儲DWMS中查詢執(zhí)行優(yōu)化.pdf

1、隨著信息技術(shù)的不斷發(fā)展，人們要處理的數(shù)據(jù)也呈爆炸式增長。為了更好的分析大量的數(shù)據(jù)，數(shù)據(jù)倉庫(DWMS)系統(tǒng)應運而生。數(shù)據(jù)倉庫更多的被用于數(shù)據(jù)分析中，因而數(shù)據(jù)倉庫相對于傳統(tǒng)的事務型數(shù)據(jù)庫，偏向于讀優(yōu)化操作。而相對于行存儲數(shù)據(jù)倉庫，列存儲數(shù)據(jù)倉庫更適用與讀優(yōu)化的環(huán)境中，因為列存儲可以避免讀取不必要的列信息。作者所在實驗室一直在進行列存儲數(shù)據(jù)倉庫的研究與開發(fā)。作者本人負責其中的查詢執(zhí)行引擎的實現(xiàn)與優(yōu)化。
　　本文結(jié)合項目的研發(fā)，研究了列

2、存儲數(shù)據(jù)倉庫中查詢執(zhí)行引擎的實現(xiàn)與完善，并根據(jù)列存儲的特征對查詢執(zhí)行引擎進行了優(yōu)化。優(yōu)化涉及了多方面的內(nèi)容，既涉及查詢執(zhí)行引擎架構(gòu)本身，也涉及相關(guān)列存儲技術(shù)的使用，最后還特別針對當代的硬件環(huán)境——多核處理器進行了優(yōu)化。本文主要討論了以下三個問題，一是查詢執(zhí)行引擎的架構(gòu)和功能實現(xiàn)，二是針對列存儲相關(guān)技術(shù)的使用優(yōu)化，三是針對當代多核處理器并行查詢優(yōu)化。
　　本文在每一類優(yōu)化內(nèi)容中都選取了一個具體的點進行了詳細闡述。如在基本模塊實現(xiàn)中主

3、要針對列存儲數(shù)據(jù)倉庫中非常重要的join（連接）操作進行了改進，提出了一種基于桶內(nèi)索引的哈希連接算法，能夠解決散列數(shù)據(jù)在哈希表桶內(nèi)分布不均勻的問題。在針對列存儲技術(shù)的優(yōu)化中主要實現(xiàn)了查詢執(zhí)行對索引以及壓縮數(shù)據(jù)的使用。實現(xiàn)了基于B+樹索引的選擇操作，和基于壓縮數(shù)據(jù)的抽值操作。而針對多核處理器的優(yōu)化主要探索了節(jié)點的并行執(zhí)行以及CPUcache的有效利用，并針對數(shù)據(jù)倉庫重要操作聚集操作，提出了基于取樣和動態(tài)劃分的高效數(shù)據(jù)劃分方法。提高了多核并