集群式并行計算機(jī)的數(shù)據(jù)分布中間件的研究與開發(fā).pdf

1、隨著各大企業(yè)的數(shù)據(jù)集中及網(wǎng)絡(luò)技術(shù)的發(fā)展,信息量越來越龐大,而從數(shù)據(jù)庫管理系統(tǒng)本身的應(yīng)用來講,即使運行在性能極高的大型主機(jī)上,在處理大量并發(fā)用戶和大規(guī)模數(shù)據(jù)量時,也很難滿足I/O和CPU方面的性能要求.在這種情況下,數(shù)據(jù)庫管理系統(tǒng)采用并行技術(shù)就成為一種強(qiáng)烈的需要.并行數(shù)據(jù)庫系統(tǒng)作為提高系統(tǒng)性能的強(qiáng)有力工具越來越受到人們的重視.本課題的目的是希望通過開發(fā)一個針對集群計算機(jī)并支持?jǐn)?shù)據(jù)并行處理的中間件系統(tǒng),重點是中間件系統(tǒng)中數(shù)據(jù)分布技術(shù)的研究和

2、開發(fā),實現(xiàn)利用集群計算機(jī)中的多個單機(jī)數(shù)據(jù)庫來獲得接近并行數(shù)據(jù)庫的性能.本課題中所研究的數(shù)據(jù)分布技術(shù)指的是無共享(SN)結(jié)構(gòu)并行數(shù)據(jù)庫的數(shù)據(jù)分布技術(shù).不同的系統(tǒng)它的數(shù)據(jù)分布的方法與策略也是不同的,沒有絕對通用的數(shù)據(jù)分布的方法與策略,我的工作主要就是找到適合本系統(tǒng)的數(shù)據(jù)分布方法與策略.通過對SN結(jié)構(gòu)并行數(shù)據(jù)庫數(shù)據(jù)分布技術(shù)進(jìn)行全面的研究和比較,提出了適合本系統(tǒng)的改進(jìn)的Range劃分方法,并設(shè)計實現(xiàn)了一個數(shù)據(jù)建立工具;通過對數(shù)據(jù)傾斜的研究判斷,

3、設(shè)計了一個數(shù)據(jù)重分布的算法,依此算法開發(fā)了一個數(shù)據(jù)重分布工具;根據(jù)研究結(jié)果和本系統(tǒng)的實際情況確定了采用基于容量的數(shù)據(jù)分布策略,并對劃分屬性的自動選擇進(jìn)行了嘗試,設(shè)計實現(xiàn)了一個劃分屬性選擇工具,具有一定的創(chuàng)新性.同時還對無共享結(jié)構(gòu)并行數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)傾斜、數(shù)據(jù)復(fù)制、"小表"的處理等數(shù)據(jù)分布相關(guān)問題進(jìn)行了研究,提出了本系統(tǒng)中相應(yīng)的解決辦法,在對"小表"的處理的研究中,確定了小表在本系統(tǒng)中的應(yīng)用.目前,國內(nèi)的各大企業(yè)集團(tuán)都在進(jìn)行群集及并行數(shù)據(jù)