數據倉庫技術在企業(yè)信息系統(tǒng)建設中的應用

1、數據倉庫技術在企業(yè)信息系統(tǒng)建設中的應用數據倉庫技術在企業(yè)信息系統(tǒng)建設中的應用謝新建宋曄(北京理工大學計算機科學系北京100081)摘要：本文從建設原則、體系結構、關鍵環(huán)節(jié)等幾個方面并結合某電信運營商的具體案例說明了數據倉庫技術在國內電信業(yè)的應用其中重點說明了異種數據源集成、ODS層的設計、ETL過程的設計、倉庫模型設計、元數據管理以及專題數據挖掘等關鍵環(huán)節(jié)，對企業(yè)數據倉庫項目的工程實施有一定的參考價值。關鍵詞：數據倉庫；ETL；元數據；

2、遺留系統(tǒng)中圖分類號：TP311文獻標識碼：A1、引言引言數據倉庫技術是經過了十幾年的研究與發(fā)展，在理論與工程實踐上都取得了顯著的成果。國際上許多重要的學術會議，如超大型數據庫國際會議（VLDB），數據工程國際會議（DataEngineering）等，都出現了大量專門研究數據倉庫（DataWarehousing）、聯(lián)機分析處理（OnLineAnalyticalProcessing）、數據挖掘（DataMining）[1]的論文，同時各大數

3、據庫廠商紛紛推出相應產品支持數據倉庫，比如NCR、SAS、acle、IBM、Infmix、Sybase等都提出了相應的數據倉庫解決方案；另一方面，隨著信息技術的飛速發(fā)展，企業(yè)內部產生了越來越多的數據，但這些數據并沒有產生應有的信息，為此出現了“數據爆炸，知識貧乏”的窘迫局面，有效地整合與充分利用現有的信息資源成為企業(yè)提高核心競爭力的關鍵。本文以電信行業(yè)為例分析了企業(yè)經營分析與決策支持系統(tǒng)的建設應用，重點闡述數據倉庫相關技術。2、數據倉庫

4、系統(tǒng)的設計數據倉庫系統(tǒng)的設計2.1、系統(tǒng)設計原則、系統(tǒng)設計原則（1）通用化性原則企業(yè)各地分支機構在組織構架、業(yè)務劃分與側重、其所運行的OLTP系統(tǒng)所依賴RDBMS、電信數據綜合分析與決策支持系統(tǒng)所需要的數據源的類型與格式等不盡相同，這些都在企業(yè)數據綜合分析與決策支持系統(tǒng)通用化設計的考慮范圍之內。（2）可擴展性原則隨著業(yè)務內容的變化，業(yè)務系統(tǒng)的信息范圍會發(fā)生變化，而對于作為統(tǒng)一信息服務平臺應設計性能良好的體系結構，保證系統(tǒng)靈活的功能可擴展

5、性。即在保持系統(tǒng)架構與原業(yè)務分析邏輯的前提下，系統(tǒng)能實現簡潔的分析主題與功能性擴充。（3）技術開放性原則為保護用戶投資，通過透明訪問技術，要保證系統(tǒng)能夠獨立于具體平臺工具，對用戶形成統(tǒng)一的功能和界面。在工具和平臺的選擇上給用戶提供自由選擇的最大余地。（4）兼容性原則企業(yè)在信息化建設的過程所積累的信息資源是企業(yè)最為寶貴的財富，新建的經營決策分析系統(tǒng)應有效的兼容原系統(tǒng)，尤其兼容原系統(tǒng)的數據資源。2.2、系統(tǒng)體系結構、系統(tǒng)體系結構根據上述的設

6、計原則，并結合系統(tǒng)設計目標，提出電信經營分析與決策系統(tǒng)的總體結構如下：表、即席查詢（AdHoc）、OLAP分析、業(yè)務挖掘分析報告、企業(yè)經營指標監(jiān)控Ptal等，滿足企業(yè)經營分析與決策支持的需要。系統(tǒng)實現了基于元數據的全程管理，涉及數據獲取層、數據整合層以及數據展現層的全過程，支持分析模型的維護以及數據源的結構性變化，通過經營分析與決策支持監(jiān)控門戶提供包括展現報表定制、元數據維護、門戶定制、統(tǒng)一安全管理等管理服務。2.3、系統(tǒng)關鍵環(huán)節(jié)、系統(tǒng)

7、關鍵環(huán)節(jié)2.3.1異種數據源集成異種數據源集成企業(yè)在進行經營分析與決策支持系統(tǒng)建設時必須將遺留系統(tǒng)（LegacySystem）[3]進行高效全面地集成，由于遺留系統(tǒng)是在企業(yè)發(fā)展的不同時期建設的，往往缺乏全局的規(guī)劃，所以常表現為不同的操作系統(tǒng)平臺、不同的數據庫平臺、不同的網絡通信機制等等，形成了所謂的“信息孤島”；系統(tǒng)中采用異種數據源的企業(yè)應用集成接口來實現對異種數據源的透明訪問，包括數據源元數據訪問以及業(yè)務操作數據訪問。數據源分為在線數

8、據源和離線數據源，在線數據源是指允許在線抽取的業(yè)務數據源，如營業(yè)數據，離線數據源是指不允許直接在線抽取的數據源，如計費樣單數據，采用以脫機平面文件數據的格式以FTP方式集成進本系統(tǒng)。對數據源實現元數據級的管理，數據源的連接類型（ODBC、OLEDB、JDBC、Native）、連接字符串以及該數據源的數據結構信息都以技術元數據的形式存儲于元數據庫中，通過控制臺對其進行業(yè)務語義定義，使用戶對整個企業(yè)的信息系統(tǒng)有了全面的掌握。2.3.2ODS

9、層的設計層的設計操作數據存儲ODS（OperationDataStage）是一個集成了來自不同數據庫數據的環(huán)境。其目的是為終端用戶提供一致的企業(yè)數據集成視圖。它可以幫助用戶輕松應對跨多個商業(yè)功能的操作挑戰(zhàn)。它是面向主題的、集成的、近實時的數據存儲。設計ODS層的目的在于：改善了對關鍵操作數據庫的存??；用戶能獲得對于收益、客戶等主題的企業(yè)級的完整視圖，有利于更好地通觀全局；近實時的數據存儲提供了查詢產品與服務的能力；以更高的性能生成操作報

10、告。設計ODS的核心是實現焦點主題全局試圖應用，如企業(yè)的客戶管理系統(tǒng)，可以CRM的理念建立以客戶為中心的ODS客戶主題視圖，向上層提供高效的服務。而對于話費結算則采取了從綜合結算系統(tǒng)中直接抽取到數據倉庫的方式，抽取周期為結算周期，能完全滿足決策分析的時間窗要求。2.3.3ETL過程的設計過程的設計數據抽取、轉換和加載，是數據倉庫實現過程中，進行數據由數據源系統(tǒng)向數據倉庫加載的主要方法，對于整個數據處理過程，實現如下：數據抽?。簭臄祿聪?/p>

11、統(tǒng)抽取數據倉庫系統(tǒng)需要的數據。數據抽取采用統(tǒng)一的接口，可以從數據庫抽取數據，也可以從文件抽取，對于不同數據平臺、不同的源數據形式、不同性能要求的業(yè)務系統(tǒng)以及不同數據量的源數據，可能采用的接口方式不同。為保證抽取效率，同時減少對生產運營系統(tǒng)的影響，對于大數據量的抽取，采取“數據分割、縮短抽取周期”的原則，對于直接的數據庫抽取，采取協(xié)商接口表的方式，保障生產系統(tǒng)數據庫的安全。為了滿足經營分析系統(tǒng)進行分析、挖掘的需要，同時保證不能影響業(yè)務系統(tǒng)