基于CPU-GPU架構(gòu)的列存儲系統(tǒng)并行查詢與優(yōu)化.pdf

1、隨著業(yè)務(wù)數(shù)據(jù)的積累，特別是網(wǎng)絡(luò)數(shù)據(jù)的快速增長，利用科學(xué)的手段快速處理數(shù)據(jù)，從多個不同的角度分析數(shù)據(jù)的需求不斷增長。多核CPU，以及多核CPU集成GPU硬件架構(gòu)的出現(xiàn)為快速處理數(shù)據(jù)提供了新的可能。特別是，將CPU-GPU架構(gòu)和讀優(yōu)先的列存儲數(shù)據(jù)倉庫技術(shù)相結(jié)合可極大地提高查詢處理的速度。
　　列存儲數(shù)據(jù)倉庫技術(shù)主要關(guān)注數(shù)據(jù)的查詢與分析，而數(shù)據(jù)的查詢分析操作一般表現(xiàn)為在多表之間的連接操作基礎(chǔ)上對結(jié)果集進行分組聚集等操作。因此，表連接和聚

2、集操作成為了影響OLAP性能的兩個重要因素。而另一方面，硬件架構(gòu)的發(fā)展為多表連接和分組聚集的性能提升提供了新的可能。目前針對單機上的并行查詢處理研究主要分為三類：單機多核并行查詢處理、GPU并行查詢處理以及CPU和GPU協(xié)同并行查詢處理。現(xiàn)有研究存在如下幾點缺陷：基于行存儲的數(shù)據(jù)劃分策略，以元組作為基本處理單位，當(dāng)出現(xiàn)多表連接時，表存在多個外鍵，需按照一定的規(guī)則選擇主劃分屬性和輔助劃分屬性。現(xiàn)有數(shù)據(jù)劃分策略難以直接應(yīng)用于異構(gòu)平臺列存儲系

3、統(tǒng)中，需要根據(jù)硬件特點對其重新設(shè)計。此外，CPU和GPU之間細粒度的并行策略，主要通過將任務(wù)進行劃分，并未考慮充分CPU和GPU的利用率。因此，CPU和GPU某方負載過高而另一方負載過低的不平衡現(xiàn)象頻繁出現(xiàn)，極大地影響了協(xié)同執(zhí)行的效率。為此，本文研究了異構(gòu)平臺上的數(shù)據(jù)劃分策略和任務(wù)分配模型，并將之有效地融入列存儲數(shù)據(jù)倉庫，然后設(shè)計并實現(xiàn)了混合并行查詢引擎。本文的具體研究工作如下：
　　1.針對列存儲系統(tǒng)按列存儲數(shù)據(jù)，相鄰數(shù)據(jù)具有較

4、高相似性的特點，設(shè)計了硬件敏感的ICMD數(shù)據(jù)劃分策略。同時，設(shè)計了一個任務(wù)分配模型，分配并動態(tài)調(diào)整CPU和GPU的任務(wù)負載。
　　2.論文深入研究了列存儲數(shù)據(jù)庫查詢引擎的結(jié)構(gòu)設(shè)計，結(jié)合CPU-GPU架構(gòu)的特點設(shè)計并實現(xiàn)了一個混合并行查詢引擎。
　　3.基于異構(gòu)平臺數(shù)據(jù)傳輸?shù)奶攸c，本文提出了一種查詢優(yōu)化策略。通過重寫查詢執(zhí)行計劃，合并CPU和GPU處理器之間的數(shù)據(jù)傳輸，使查詢性能得到了進一步的提高。
　　4.最后，本文在

5、我們實驗室研制的列存儲數(shù)據(jù)倉庫系統(tǒng)DWMS中具體實現(xiàn)了上述各項技術(shù)，并以SSB基準(zhǔn)數(shù)據(jù)集為測試數(shù)據(jù)進行了測試。通過查詢性能的對比實驗，驗證了數(shù)據(jù)劃分策略、任務(wù)分配模型及混合查詢的有效性。實驗結(jié)果表明：基于HPQE混合查詢引擎的數(shù)據(jù)倉庫復(fù)雜查詢性能相比于DWMS提升了23％，相比于基于GPU查詢引擎-Ocelot的數(shù)據(jù)倉庫提升了18%；結(jié)合執(zhí)行計劃優(yōu)化策略和HPQE混合查詢引擎的數(shù)據(jù)倉庫復(fù)雜查詢性能相比于DWMS提升了87%，相比于基于G