并行數(shù)據(jù)處理中間件存儲(chǔ)分配策略研究.pdf

1、并行數(shù)據(jù)處理是一種十分重要的計(jì)算機(jī)技術(shù)，該技術(shù)目前在很多領(lǐng)域發(fā)揮著重要作用。通過(guò)開(kāi)發(fā)一個(gè)支持并行數(shù)據(jù)處理的中間件，將集群并行計(jì)算機(jī)各節(jié)點(diǎn)上分布的數(shù)據(jù)庫(kù)連接起來(lái)，構(gòu)成數(shù)據(jù)并行處理中間件系統(tǒng)，系統(tǒng)中各節(jié)點(diǎn)并行工作，可以以較小的代價(jià)獲得接近并行數(shù)據(jù)庫(kù)的性能。在SN結(jié)構(gòu)的并行數(shù)據(jù)庫(kù)中，數(shù)據(jù)被劃分到多個(gè)處理節(jié)點(diǎn)上，查詢(xún)由多個(gè)節(jié)點(diǎn)共同完成。在此應(yīng)用環(huán)境中，劃分方法的優(yōu)劣對(duì)提高系統(tǒng)并行性，減少數(shù)據(jù)傾斜，提高系統(tǒng)性能具有重要作用。 數(shù)據(jù)存儲(chǔ)分配

2、是查詢(xún)處理并行化的基礎(chǔ)，是并行數(shù)據(jù)處理技術(shù)研究的重要方向之一。本文通過(guò)對(duì)存儲(chǔ)分配策略的研究，研究并提出最大程度適合本系統(tǒng)的數(shù)據(jù)存儲(chǔ)分配策略，以提高系統(tǒng)性能。 本文首先描述了數(shù)據(jù)并行處理中間件的系統(tǒng)結(jié)構(gòu)和工作原理，以此為應(yīng)用和研究環(huán)境，研究如何對(duì)關(guān)系進(jìn)行分片，提出一種基于連結(jié)代價(jià)的劃分屬性選擇算法，對(duì)Range和Hash劃分方法進(jìn)行改進(jìn)，提出適合本系統(tǒng)的R-H劃分算法，該算法比原有的Range和Hash方法更有利于實(shí)現(xiàn)數(shù)據(jù)均衡，避