ETL技術(shù)在QHSE報告系統(tǒng)中的研究與實現(xiàn).pdf

1、本文針對傳統(tǒng)數(shù)據(jù)庫中海量業(yè)務(wù)數(shù)據(jù)無法得到有效利用的問題，在ETL理論基礎(chǔ)之上，提出了數(shù)據(jù)倉庫項目中ETL問題的解決方案，主要研究了基于元數(shù)據(jù)的數(shù)據(jù)抽取、轉(zhuǎn)換和加載以及數(shù)據(jù)清洗的方法，詳細闡述了ETL技術(shù)在中國石油QHSE報告系統(tǒng)中的應(yīng)用，具體內(nèi)容包括： 1.QHSE報告系統(tǒng)為不同的業(yè)務(wù)數(shù)據(jù)源提供統(tǒng)一的數(shù)據(jù)接口規(guī)范，用于從各業(yè)務(wù)系統(tǒng)或工作環(huán)境中獲取包含統(tǒng)計報表和多維分析信息的初始數(shù)據(jù)文件，合理運用數(shù)據(jù)實現(xiàn)跨越多平臺多系統(tǒng)的數(shù)據(jù)整合

2、； 2.針對沒有相應(yīng)的信息管理系統(tǒng)，報告系統(tǒng)使用.NET技術(shù)開發(fā)QHSE數(shù)據(jù)錄入/導(dǎo)入系統(tǒng)，并運用XML技術(shù)實現(xiàn)不規(guī)則數(shù)據(jù)文件抽?。?3.校驗初始數(shù)據(jù)文件，檢查數(shù)據(jù)是否符合數(shù)據(jù)倉庫系統(tǒng)要求的業(yè)務(wù)標準及數(shù)據(jù)的合法性，進行數(shù)據(jù)清洗，并生成相應(yīng)的日志記錄； 4.按照指定要求加載通過合法性校驗的文件或數(shù)據(jù)行到數(shù)據(jù)倉庫數(shù)據(jù)表，設(shè)計加載策略以提高ETL效率。 論文對ETL在數(shù)據(jù)倉庫項目實施過程中的方法進行了總結(jié)，并提