實時數(shù)據(jù)倉庫數(shù)據(jù)流更新算法研究與應(yīng)用.pdf

1、實時數(shù)據(jù)集成是實時數(shù)據(jù)倉庫在ETL架構(gòu)實施過程中的關(guān)鍵步驟，其中的連接操作直接關(guān)系到實時數(shù)據(jù)集成的性能。在實時數(shù)據(jù)倉庫的環(huán)境下，數(shù)據(jù)流的高效連接是保證實時數(shù)據(jù)集成的關(guān)鍵。為了保證實時數(shù)據(jù)倉庫中數(shù)據(jù)集成能夠?qū)崟r高效地進(jìn)行，解決實際中常見的數(shù)據(jù)偏斜分布問題，本文提出了一種數(shù)據(jù)流更新算法EH-JOIN。本文主要的工作內(nèi)容如下:
　　首先，論文以現(xiàn)代企業(yè)廣泛運用的數(shù)據(jù)倉庫為研究背景，分析比較了傳統(tǒng)數(shù)據(jù)倉庫和實時數(shù)據(jù)倉庫的區(qū)別和聯(lián)系。詳細(xì)介

2、紹了實時數(shù)據(jù)倉庫ETL架構(gòu)模型，對實時數(shù)據(jù)捕獲技術(shù)和實時數(shù)據(jù)更新技術(shù)進(jìn)行了深入研究。
　　然后，論文分析了實時數(shù)據(jù)流更新技術(shù)中幾種常見的算法，并且根據(jù)多輸入連接效率、重復(fù)元組概率和I/O復(fù)雜度等幾個關(guān)鍵指標(biāo)來評價這些數(shù)據(jù)流更新算法，指出了這些算法的優(yōu)缺點。
　　接著，針對實際中常見的數(shù)據(jù)偏斜分布情形，論文基于MESHJOIN算法，提出了一種數(shù)據(jù)流更新算法EH-JOIN，修改傳統(tǒng)的哈希連接方法使之可以利用索引，并將部分頻繁使用

3、的主數(shù)據(jù)持久存儲在內(nèi)存中，有效地解決高速流下頻繁的磁盤訪問問題;提出了EH-JOIN算法的開銷模型。通過實驗證明，EH-JOIN算法在性能上明顯優(yōu)于其他常見算法;另外通過比較包含了非交換部分和不包含非交換部分的算法的性能差異，驗證了其磁盤緩存中非交換部分的積極作用;而且，通過驗證EH-JOIN算法的預(yù)測開銷模型，證明了EH-JOIN算法的開銷模型的準(zhǔn)確性。
　　最后，將本文提出的EH-JOIN算法應(yīng)用到某高爾夫公司現(xiàn)有的數(shù)據(jù)倉庫系