數(shù)據(jù)倉庫增量維護(hù)技術(shù)的研究.pdf

1、數(shù)據(jù)倉庫中包含著從各種獨(dú)立自治的數(shù)據(jù)源中抽取出來的信息,當(dāng)數(shù)據(jù)源發(fā)生變化時(shí),數(shù)據(jù)倉庫中的數(shù)據(jù)也必須被更新以反映這種變化,面對如此大量的數(shù)據(jù),采用完全重載的方法顯然是不可行的,因而有必要提出一種高效的增量式維護(hù)的方法,也就是只將數(shù)據(jù)源中發(fā)生變化的數(shù)據(jù)捕獲并刷新到數(shù)據(jù)倉庫中.建立在數(shù)據(jù)倉庫上的一些應(yīng)用,如OLAP分析和數(shù)據(jù)挖掘等,通常會涉及到大批量數(shù)據(jù)的檢索,為了能夠提高查詢的效率,在數(shù)據(jù)倉庫中會建立一定數(shù)量的實(shí)視圖.目前關(guān)于數(shù)據(jù)倉庫的增量

2、式刷新的討論,大部分都集中在實(shí)視圖的維護(hù)上.該文提出了一個(gè)實(shí)現(xiàn)數(shù)據(jù)倉庫增量刷新的體系框架,它將不再局限于實(shí)視圖的維護(hù),而涉及到了一個(gè)數(shù)據(jù)倉庫系統(tǒng)運(yùn)行的整個(gè)過程,包括對數(shù)據(jù)源變化的監(jiān)控,將捕獲到的變化數(shù)據(jù)傳送和集成到數(shù)據(jù)倉庫、對數(shù)據(jù)倉庫的刷新和歷史數(shù)據(jù)的保存等主要部分.當(dāng)采用傳統(tǒng)的方法對數(shù)據(jù)倉庫進(jìn)行維護(hù)時(shí),所捕獲到的變化信息將被直接應(yīng)用到倉庫中相應(yīng)的表或?qū)嵰晥D上.文中提出了一種Delta表的方法,變化的數(shù)據(jù)先被抽取到Delta表中,然后再

3、利用Delta表對數(shù)據(jù)倉庫進(jìn)行增量維護(hù),該方法能夠?qū)?fù)雜的維護(hù)過程進(jìn)行分解,使可控制性和正確性得到進(jìn)一步的保證.由于數(shù)據(jù)源的更新和數(shù)據(jù)倉庫的維護(hù)是兩個(gè)分離的過程,這有可能導(dǎo)致異常數(shù)據(jù)的出現(xiàn).該文提出了一種補(bǔ)償算法,它能夠有效的消除異常數(shù)據(jù),該算法借用了ECA算法的核心思想,但是針對我們所提出的框架,該算法在實(shí)現(xiàn)上做了很大改進(jìn).在刷新過程中,數(shù)據(jù)倉庫通常是不可訪問的,為了減少數(shù)據(jù)倉庫不可見的時(shí)間,我們將實(shí)視圖的維護(hù)過程分成了數(shù)據(jù)傳送和刷新