實時數據倉庫環(huán)境中科學數據排重模型的研究.pdf

1、在信息時代,正確的決策成為競爭強有力的武器。為制定戰(zhàn)略意義上的商業(yè)計劃,進行戰(zhàn)術上的商業(yè)決策,各企業(yè)紛紛構建數據倉庫。但是,由于數據倉庫從各種數據源中導入大量的數據,而一些數據源包含“臟”數據的概率是非常高的;另一方面,對用于決策支持的數據倉庫而言,其中數據的質量對避免錯誤的決策是至關重要的。重復數據是影響數據質量的一個重要因素,數據重復不僅會造成數據的冗余,使數據量增大,增加數據倉庫的負擔,還會嚴重影響分析和決策。因此,在數據倉庫中,

2、數據排重是提高數據質量的必不可少的方法之一。
　　 實時數據倉庫是數據倉庫技術的一個新的發(fā)展方向。它是指一個數據源的任何改變都自動,且立即反映到數據倉庫中。實時數據倉庫的發(fā)展又給保證數據質量的問題帶來了新的挑戰(zhàn)。實時數據倉庫的數據源的變化是即時反應到數據倉庫中的,也就是說ETL是實時的,這就需要實時的保證數據的質量,以支持前端的查詢和分析。而以前的質量保證的研究大多是基于非實時的數據倉庫,因此,需要一種新的調度方法來更加準確、高

3、效的保證數據倉庫中數據的可信度。
　　 本文首先提出了一種面向科學數據的通用排重模型,介紹了科學數據特點,然后詳細描述了該排重模型,證明傳統(tǒng)的“排序&合并”方法不適合于科學數據排重并給出本模型的算法細節(jié),同時介紹了該模型的調度流程、體系結構和實現;然后,分析了實時數據倉庫中數據質量保證的困難和問題,提出了在實時環(huán)境下的排重優(yōu)先調度策略、實時調度策略、ETL優(yōu)先調度策略,并且一一給出了具體分析,在ETL優(yōu)先調度策略中,定義了排重繁