操作型數(shù)據(jù)存儲系統(tǒng)的有效架構和高可用設計.pdf

1、隨著信息技術的發(fā)展和企業(yè)信息化水平的提高,商業(yè)智能(BI)在信息企業(yè)的經(jīng)營與決策中扮演著越來越重要的作用。數(shù)據(jù)倉庫(DW)、聯(lián)機分析處理(OLAP)、數(shù)據(jù)挖掘(DM)及報表展現(xiàn)等多種技術構成了一個相對完整的BI技術架構,數(shù)據(jù)則是這些技術依賴的基礎前提。通過抽取(Extraction)、轉換(Transformation)、清洗(Cleaning)與加載(Loading)等ETL過程獲取完整的、準確的基礎數(shù)據(jù)支持成了Bl實現(xiàn)的關鍵之一。操

2、作型數(shù)據(jù)存儲(ODS)是為了滿足各系統(tǒng)之間數(shù)據(jù)快速加載與整合的需求提出的一種數(shù)據(jù)架構概念。早期ODS的定位處于應用數(shù)據(jù)庫與DW中間,ODS系統(tǒng)則專注于進行ETL作業(yè)處理。隨著業(yè)務系統(tǒng)的不斷完善,數(shù)據(jù)分析應用對基礎數(shù)據(jù)的需求也在不斷發(fā)展,特別是對于當前金融、電信、保險等行業(yè)里信息化程度高、數(shù)據(jù)密集的企業(yè)來說,早先提出的DB-ODS-DW三層體系架構已經(jīng)表現(xiàn)出較明顯的功能局限性,無法滿足“全員化”BI發(fā)展趨勢下日常決策對操作型數(shù)據(jù)的需求,信

3、息化企業(yè)迫切需要的是一個符合當前企業(yè)IT策略與IT規(guī)劃的有效的ODS架構。
　　 本文首先通過研究國內以金融行業(yè)信息化為代表的企業(yè)信息化發(fā)展水平,論述了ODS系統(tǒng)在當前企業(yè)信息化發(fā)展過程中用于滿足BI日常決策對操作型基礎數(shù)據(jù)需求的實際意義；同時分析了當前國內ODS系統(tǒng)實施不一致的現(xiàn)狀及問題,歸納了基礎數(shù)據(jù)架構的發(fā)展過程,針對當前DB-ODS-DW架構存在的問題提出了作為“企業(yè)級操作型基礎數(shù)據(jù)平臺”的ODS有效架構,在ODS的重要

4、性得到體現(xiàn)的前提下,為保證系統(tǒng)持續(xù)和穩(wěn)定,本文提出了基于系統(tǒng)級和應用級別的ODS高可用性系統(tǒng)設計方案,將集群高可用性理論應用于ODS系統(tǒng)之中?！捌髽I(yè)級操作型基礎數(shù)據(jù)平臺”的ODS系統(tǒng)架構,以“平臺”的概念確定了包括核心ETL功能、數(shù)據(jù)共享、質量管理、元數(shù)據(jù)管理等功能定位,提供了全行統(tǒng)一的操作型數(shù)據(jù)存儲環(huán)境和ETL處理環(huán)境。不僅保證了基礎數(shù)據(jù)高效準確的支持,也提高了各應用系統(tǒng)的實施效率,在全局上對企業(yè)信息系統(tǒng)架構起到支持與提高,是適合當前