集成CPU-GPU架構(gòu)上的列存儲(chǔ)連接優(yōu)化技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，企業(yè)數(shù)據(jù)爆發(fā)式增長(zhǎng)。如何更好地支持海量數(shù)據(jù)的存儲(chǔ)、分析，已經(jīng)成為企業(yè)關(guān)注的重要問(wèn)題。數(shù)據(jù)倉(cāng)庫(kù)是用來(lái)存儲(chǔ)、分析海量數(shù)據(jù)的重要工具。傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)以事務(wù)操作為核心，而數(shù)據(jù)倉(cāng)庫(kù)更注重對(duì)海量數(shù)據(jù)的存儲(chǔ)、查詢(xún)與分析。相比于行存儲(chǔ)技術(shù)，列存儲(chǔ)技術(shù)因其在讀優(yōu)先環(huán)境中的優(yōu)勢(shì)，被更多的應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)之中。由于列存儲(chǔ)系統(tǒng)可以支持列的獨(dú)立存儲(chǔ)、壓縮和其他操作，列存儲(chǔ)更利于讀優(yōu)化操作。
　　集成多核異構(gòu)CPU-GPU架構(gòu)已經(jīng)成為計(jì)

2、算機(jī)處理器芯片的發(fā)展趨勢(shì)，在商用計(jì)算機(jī)中，基于集成多核異構(gòu)CPU-GPU架構(gòu)的中央處理器已經(jīng)得到了較為廣泛的應(yīng)用。在這種趨勢(shì)下，研究數(shù)據(jù)倉(cāng)庫(kù)軟件如何利用集成多核異構(gòu)CPU-GPU體系架構(gòu)處理器的性能優(yōu)勢(shì)極具價(jià)值。
　　本文主要研究集成多核異構(gòu)CPU-GPU架構(gòu)處理器上列存儲(chǔ)系統(tǒng)的連接原語(yǔ)優(yōu)化技術(shù)，并以我們實(shí)驗(yàn)室自主研發(fā)的列存儲(chǔ)系統(tǒng)為基礎(chǔ)，研究了如何利用集成多核異構(gòu)CPU-GPU架構(gòu)的計(jì)算資源和性能優(yōu)勢(shì)優(yōu)化連接操作。主要工作如下：<

3、br>　　本文首先研究了基于列存儲(chǔ)系統(tǒng)的并行連接算法，針對(duì)OpenCL編程框架的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了基于OpenCL的列存儲(chǔ)系統(tǒng)連接算法。除此之外，研究了GPU上的數(shù)據(jù)分組算法，并針對(duì)該算法空間開(kāi)銷(xiāo)較大的問(wèn)題做了相應(yīng)改進(jìn)，提出了一種基于分組數(shù)統(tǒng)計(jì)的GPU數(shù)據(jù)分組算法。
　　其次，對(duì)使用GPU作協(xié)處理器加速數(shù)據(jù)查詢(xún)操作的方法進(jìn)行了研究。之后，深入研究了基于集成CPU-GPU架構(gòu)的流水線協(xié)處理方案，并針對(duì)其無(wú)法動(dòng)態(tài)改變數(shù)據(jù)配比的問(wèn)題，提

4、出了一種動(dòng)態(tài)數(shù)據(jù)分配策略。
　　再次，研究了實(shí)驗(yàn)室自主研發(fā)的列存儲(chǔ)系統(tǒng)，并對(duì)其作出了改進(jìn)，將本文提出的數(shù)據(jù)分配策略集成到該系統(tǒng)之上，使其可以充分利用集成CPU-GPU架構(gòu)處理器的計(jì)算資源，優(yōu)化連接操作。
　　最后，使用SSB測(cè)試基準(zhǔn)，驗(yàn)證了本文提出的方法有效性。實(shí)驗(yàn)結(jié)果表明，本文提出的方法使得兩表連接效率最大提高了33.2％，SSB測(cè)試基準(zhǔn)的標(biāo)準(zhǔn)查詢(xún)語(yǔ)句Q1.1的執(zhí)行時(shí)間縮短了9.81%，Q3.1執(zhí)行時(shí)間最高縮短了7.03%