基于CPU-GPU架構(gòu)的列存儲(chǔ)系統(tǒng)并行查詢與優(yōu)化.pdf

1、隨著業(yè)務(wù)數(shù)據(jù)的積累，特別是網(wǎng)絡(luò)數(shù)據(jù)的快速增長，利用科學(xué)的手段快速處理數(shù)據(jù)，從多個(gè)不同的角度分析數(shù)據(jù)的需求不斷增長。多核CPU，以及多核CPU集成GPU硬件架構(gòu)的出現(xiàn)為快速處理數(shù)據(jù)提供了新的可能。特別是，將CPU-GPU架構(gòu)和讀優(yōu)先的列存儲(chǔ)數(shù)據(jù)倉庫技術(shù)相結(jié)合可極大地提高查詢處理的速度。
　　列存儲(chǔ)數(shù)據(jù)倉庫技術(shù)主要關(guān)注數(shù)據(jù)的查詢與分析，而數(shù)據(jù)的查詢分析操作一般表現(xiàn)為在多表之間的連接操作基礎(chǔ)上對(duì)結(jié)果集進(jìn)行分組聚集等操作。因此，表連接和聚

2、集操作成為了影響OLAP性能的兩個(gè)重要因素。而另一方面，硬件架構(gòu)的發(fā)展為多表連接和分組聚集的性能提升提供了新的可能。目前針對(duì)單機(jī)上的并行查詢處理研究主要分為三類：單機(jī)多核并行查詢處理、GPU并行查詢處理以及CPU和GPU協(xié)同并行查詢處理?，F(xiàn)有研究存在如下幾點(diǎn)缺陷：基于行存儲(chǔ)的數(shù)據(jù)劃分策略，以元組作為基本處理單位，當(dāng)出現(xiàn)多表連接時(shí)，表存在多個(gè)外鍵，需按照一定的規(guī)則選擇主劃分屬性和輔助劃分屬性?，F(xiàn)有數(shù)據(jù)劃分策略難以直接應(yīng)用于異構(gòu)平臺(tái)列存儲(chǔ)系

3、統(tǒng)中，需要根據(jù)硬件特點(diǎn)對(duì)其重新設(shè)計(jì)。此外，CPU和GPU之間細(xì)粒度的并行策略，主要通過將任務(wù)進(jìn)行劃分，并未考慮充分CPU和GPU的利用率。因此，CPU和GPU某方負(fù)載過高而另一方負(fù)載過低的不平衡現(xiàn)象頻繁出現(xiàn)，極大地影響了協(xié)同執(zhí)行的效率。為此，本文研究了異構(gòu)平臺(tái)上的數(shù)據(jù)劃分策略和任務(wù)分配模型，并將之有效地融入列存儲(chǔ)數(shù)據(jù)倉庫，然后設(shè)計(jì)并實(shí)現(xiàn)了混合并行查詢引擎。本文的具體研究工作如下：
　　1.針對(duì)列存儲(chǔ)系統(tǒng)按列存儲(chǔ)數(shù)據(jù)，相鄰數(shù)據(jù)具有較

4、高相似性的特點(diǎn)，設(shè)計(jì)了硬件敏感的ICMD數(shù)據(jù)劃分策略。同時(shí)，設(shè)計(jì)了一個(gè)任務(wù)分配模型，分配并動(dòng)態(tài)調(diào)整CPU和GPU的任務(wù)負(fù)載。
　　2.論文深入研究了列存儲(chǔ)數(shù)據(jù)庫查詢引擎的結(jié)構(gòu)設(shè)計(jì)，結(jié)合CPU-GPU架構(gòu)的特點(diǎn)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)混合并行查詢引擎。
　　3.基于異構(gòu)平臺(tái)數(shù)據(jù)傳輸?shù)奶攸c(diǎn)，本文提出了一種查詢優(yōu)化策略。通過重寫查詢執(zhí)行計(jì)劃，合并CPU和GPU處理器之間的數(shù)據(jù)傳輸，使查詢性能得到了進(jìn)一步的提高。
　　4.最后，本文在

5、我們實(shí)驗(yàn)室研制的列存儲(chǔ)數(shù)據(jù)倉庫系統(tǒng)DWMS中具體實(shí)現(xiàn)了上述各項(xiàng)技術(shù)，并以SSB基準(zhǔn)數(shù)據(jù)集為測試數(shù)據(jù)進(jìn)行了測試。通過查詢性能的對(duì)比實(shí)驗(yàn)，驗(yàn)證了數(shù)據(jù)劃分策略、任務(wù)分配模型及混合查詢的有效性。實(shí)驗(yàn)結(jié)果表明：基于HPQE混合查詢引擎的數(shù)據(jù)倉庫復(fù)雜查詢性能相比于DWMS提升了23％，相比于基于GPU查詢引擎-Ocelot的數(shù)據(jù)倉庫提升了18%；結(jié)合執(zhí)行計(jì)劃優(yōu)化策略和HPQE混合查詢引擎的數(shù)據(jù)倉庫復(fù)雜查詢性能相比于DWMS提升了87%，相比于基于G