實時數(shù)據(jù)倉庫環(huán)境中科學數(shù)據(jù)排重模型的研究.pdf

1、在信息時代,正確的決策成為競爭強有力的武器。為制定戰(zhàn)略意義上的商業(yè)計劃,進行戰(zhàn)術(shù)上的商業(yè)決策,各企業(yè)紛紛構(gòu)建數(shù)據(jù)倉庫。但是,由于數(shù)據(jù)倉庫從各種數(shù)據(jù)源中導入大量的數(shù)據(jù),而一些數(shù)據(jù)源包含“臟”數(shù)據(jù)的概率是非常高的;另一方面,對用于決策支持的數(shù)據(jù)倉庫而言,其中數(shù)據(jù)的質(zhì)量對避免錯誤的決策是至關(guān)重要的。重復數(shù)據(jù)是影響數(shù)據(jù)質(zhì)量的一個重要因素,數(shù)據(jù)重復不僅會造成數(shù)據(jù)的冗余,使數(shù)據(jù)量增大,增加數(shù)據(jù)倉庫的負擔,還會嚴重影響分析和決策。因此,在數(shù)據(jù)倉庫中,

2、數(shù)據(jù)排重是提高數(shù)據(jù)質(zhì)量的必不可少的方法之一。
　　 實時數(shù)據(jù)倉庫是數(shù)據(jù)倉庫技術(shù)的一個新的發(fā)展方向。它是指一個數(shù)據(jù)源的任何改變都自動,且立即反映到數(shù)據(jù)倉庫中。實時數(shù)據(jù)倉庫的發(fā)展又給保證數(shù)據(jù)質(zhì)量的問題帶來了新的挑戰(zhàn)。實時數(shù)據(jù)倉庫的數(shù)據(jù)源的變化是即時反應到數(shù)據(jù)倉庫中的,也就是說ETL是實時的,這就需要實時的保證數(shù)據(jù)的質(zhì)量,以支持前端的查詢和分析。而以前的質(zhì)量保證的研究大多是基于非實時的數(shù)據(jù)倉庫,因此,需要一種新的調(diào)度方法來更加準確、高

3、效的保證數(shù)據(jù)倉庫中數(shù)據(jù)的可信度。
　　 本文首先提出了一種面向科學數(shù)據(jù)的通用排重模型,介紹了科學數(shù)據(jù)特點,然后詳細描述了該排重模型,證明傳統(tǒng)的“排序&合并”方法不適合于科學數(shù)據(jù)排重并給出本模型的算法細節(jié),同時介紹了該模型的調(diào)度流程、體系結(jié)構(gòu)和實現(xiàn);然后,分析了實時數(shù)據(jù)倉庫中數(shù)據(jù)質(zhì)量保證的困難和問題,提出了在實時環(huán)境下的排重優(yōu)先調(diào)度策略、實時調(diào)度策略、ETL優(yōu)先調(diào)度策略,并且一一給出了具體分析,在ETL優(yōu)先調(diào)度策略中,定義了排重繁