列存儲系統(tǒng)中并行查詢處理的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的普及，信息時代的到來，人們?nèi)粘Ｉ钏媾R的數(shù)據(jù)已經(jīng)非常巨大，如何圍繞這些數(shù)據(jù)建立數(shù)據(jù)倉庫、進行數(shù)據(jù)挖掘和數(shù)據(jù)分析正逐步成為數(shù)據(jù)處理的主題。如何快速準確分析這些海量數(shù)據(jù)，對數(shù)據(jù)倉庫系統(tǒng)有了更高的要求。傳統(tǒng)的基于行存儲的關(guān)系型數(shù)據(jù)庫系統(tǒng)已經(jīng)不能很好地適應(yīng)海量數(shù)據(jù)分析的要求，而基于列的存儲模型能夠較好地支持海量數(shù)據(jù)分析。
　　近年來，微處理器的發(fā)展非常迅速。由于處理器功耗與設(shè)計的限制，處理器的發(fā)展趨勢正逐步從單核心高主頻到多核

2、心處理器發(fā)展?，F(xiàn)在單核心處理器幾乎從處理器市場中消失，而片上多核處理器(chipmultipro-cessor，CMP)已經(jīng)成為該市場上的主流。多核處理器能夠為列存儲并行查詢執(zhí)行提供硬件環(huán)境。
　　本文主要研究多核處理器環(huán)境下列存儲系統(tǒng)的并行查詢設(shè)計與實現(xiàn)技術(shù)。論文以我們實驗室研制的列存儲系統(tǒng)DWMS為依托，研究現(xiàn)有的查詢技術(shù)，設(shè)計并實現(xiàn)了一套基于多核處理器的并行查詢模塊。
　　1、分析一條查詢語句在處理過程中的各個階段的基

3、礎(chǔ)上，并為多個查詢階段的查詢優(yōu)化做出并行化分析。
　　2、設(shè)計了基于OpenMP技術(shù)動態(tài)分配的多線程快速排序算法。
　　3、設(shè)計了多個多線程hash連接算法，可根據(jù)具體的情況選擇合適的連接算法。
　　4、分析多查詢基礎(chǔ)上設(shè)計了一個簡單的多查詢并行。
　　5、對基于傳遞塊的查詢執(zhí)行模型進行分析后，建立了傳遞塊緩沖區(qū)。以傳遞塊緩沖區(qū)為數(shù)據(jù)流轉(zhuǎn)中心設(shè)計了基于流水線的查詢并行化方案。這種設(shè)計主要將父子節(jié)點間傳送數(shù)據(jù)的方式

4、由傳遞塊改為傳遞塊緩沖區(qū)，這樣操作節(jié)點只對緩沖區(qū)讀寫數(shù)據(jù)，父子操作節(jié)點之間實現(xiàn)了分離。通過對緩沖區(qū)的有效管理，能夠很好地提高DWMS的查詢性能。
　　6、論文最后對整個查詢的并行設(shè)計做出分析，通過對相關(guān)參數(shù)、緩沖區(qū)數(shù)量和并行模塊的進行設(shè)置，進一步提高查詢性能。
　　在多核環(huán)境下，論文對DWMS數(shù)據(jù)倉庫原型系統(tǒng)進行了多線程設(shè)計，主要是對操作節(jié)點的并行化設(shè)計和流水線并行化設(shè)計。通過理論分析和相關(guān)實驗的驗證，表明我們的查詢并行化設(shè)