機群下基于Greenplum數(shù)據(jù)庫查詢能耗估算及提高連接能效策略.pdf

1、在現(xiàn)代信息社會中，每個行業(yè)都在不間斷的產(chǎn)生海量的新數(shù)據(jù)。這些數(shù)據(jù)支撐行業(yè)的發(fā)展，也是科技創(chuàng)新的一個重要來源。大數(shù)據(jù)領(lǐng)域的基石就是存儲、管理和分析數(shù)據(jù)的數(shù)據(jù)中心。無論是只有幾臺機器的小型組織還是全球化的大型跨國公司，數(shù)據(jù)中心都是企業(yè)生產(chǎn)和發(fā)展過程中必不可少的設(shè)施。但是，隨著數(shù)據(jù)中心的規(guī)模不斷擴大，在全球資源緊張的大背景下，數(shù)據(jù)中心的能耗問題不僅導(dǎo)致成本增加成為制約企業(yè)發(fā)展的重要因素，而且成為經(jīng)濟增長和資源浪費的新興矛盾對立面。
　　

2、數(shù)據(jù)庫是傳統(tǒng)意義上數(shù)據(jù)中心的主要應(yīng)用，大型企業(yè)在數(shù)據(jù)中心上的數(shù)據(jù)維護都會產(chǎn)生巨大的開銷，因此關(guān)注數(shù)據(jù)庫系統(tǒng)的能耗表現(xiàn)是最近學(xué)術(shù)界熱門的課題。數(shù)據(jù)庫通過多個查詢路徑的代價評估，找出最優(yōu)化的一個查詢進行的方式即查詢計劃，因此如何根據(jù)查詢計劃估算出整個查詢的能耗是整個數(shù)據(jù)庫查詢能耗相關(guān)研究的基礎(chǔ)，也對于后續(xù)進行數(shù)據(jù)庫查詢的能耗優(yōu)化研究至關(guān)重要。
　　本文在大規(guī)模并行處理架構(gòu)的Greenplum數(shù)據(jù)庫機群環(huán)境下，首先分析了機群下數(shù)據(jù)庫系統(tǒng)

3、與單機環(huán)境下的差異，然后實驗測試了數(shù)據(jù)庫系統(tǒng)中主要能耗硬件在不同工作負載下的能耗表現(xiàn)情況。針對數(shù)據(jù)庫查詢中的不同查詢操作，本文由實驗得到不同查詢操作與查詢表規(guī)模的關(guān)系，從而將硬件能耗、查詢操作以及表規(guī)模三者之間建立聯(lián)系，再根據(jù)具體查詢計劃的執(zhí)行方式建立能耗估算模型并且實驗驗證其估算結(jié)果的準確性。另一方面，通過對于整體數(shù)據(jù)庫系統(tǒng)能耗的研究，本文實驗測試連接操作中三種連接方式nestloop、mergejoin、hashjoin在表不同規(guī)模