基于Web的數(shù)據清洗及轉換通用框架的研究及應用.pdf

1、近年來，隨著信息技術的不斷發(fā)展和數(shù)據庫技術的成熟應用，企業(yè)業(yè)務數(shù)據飛速增長，除去數(shù)據本身的信息，數(shù)據之間還蘊藏著大量的對企業(yè)管理決策有益的潛在因素。如何有效地將這種隱藏的信息查找出來并應用于決策分析，成為人們研究的一個重點，在此背景下，數(shù)據倉庫技術應運而生。 在數(shù)據倉庫構建過程中，良好的數(shù)據質量是整個系統(tǒng)進行正確決策分析的基礎，而有效的數(shù)據清洗及轉換是數(shù)據倉庫中高質量數(shù)據的保證。但是由于數(shù)據清洗具有很強的領域性，大部分傳統(tǒng)的ET

2、L工具中數(shù)據清洗和轉換模塊耦合比較嚴重，通用性差，系統(tǒng)在引入新功能時擴展性和維護性不好，使得系統(tǒng)很難在大范圍內可持續(xù)使用。 “基于Web的數(shù)據轉換及清洗通用框架的研究及應用”正是基于此而提出的一個課題。該框架采用基于B/S模式的組件技術，在保證良好對外接口的前提下，將絕大部分的業(yè)務邏輯處理部署在服務器上，提供通用的網絡服務，實現(xiàn)了數(shù)據清洗及轉換的通用操作。 該框架支持多種源數(shù)據類型，支持海量數(shù)據的批量處理，并根據數(shù)據自身

3、特點提供速率優(yōu)化，長事務進度指示及各種日志記錄等功能，不但可以直接作用于小規(guī)模系統(tǒng)，并且可以作為通用的底層框架針對特定領域進行二次開發(fā)，通過擴展自定義接口完成某一具體領域專有的數(shù)據清洗及轉換功能。整個處理流程可以在任何需要進行數(shù)據清洗及轉換的數(shù)據源端進行，而不是局限于某個指定的ETL服務器上，這樣在減輕了ETL服務器負擔的同時，有效地利用了閑置資源。當業(yè)務需求發(fā)生變動時，只需要更新服務器既可，客戶端不需任何改變，從而提供良好的可擴展性和