操作型數(shù)據(jù)存儲系統(tǒng)的有效架構(gòu)和高可用設(shè)計.pdf

1、隨著信息技術(shù)的發(fā)展和企業(yè)信息化水平的提高,商業(yè)智能(BI)在信息企業(yè)的經(jīng)營與決策中扮演著越來越重要的作用。數(shù)據(jù)倉庫(DW)、聯(lián)機分析處理(OLAP)、數(shù)據(jù)挖掘(DM)及報表展現(xiàn)等多種技術(shù)構(gòu)成了一個相對完整的BI技術(shù)架構(gòu),數(shù)據(jù)則是這些技術(shù)依賴的基礎(chǔ)前提。通過抽取(Extraction)、轉(zhuǎn)換(Transformation)、清洗(Cleaning)與加載(Loading)等ETL過程獲取完整的、準確的基礎(chǔ)數(shù)據(jù)支持成了Bl實現(xiàn)的關(guān)鍵之一。操

2、作型數(shù)據(jù)存儲(ODS)是為了滿足各系統(tǒng)之間數(shù)據(jù)快速加載與整合的需求提出的一種數(shù)據(jù)架構(gòu)概念。早期ODS的定位處于應(yīng)用數(shù)據(jù)庫與DW中間,ODS系統(tǒng)則專注于進行ETL作業(yè)處理。隨著業(yè)務(wù)系統(tǒng)的不斷完善,數(shù)據(jù)分析應(yīng)用對基礎(chǔ)數(shù)據(jù)的需求也在不斷發(fā)展,特別是對于當前金融、電信、保險等行業(yè)里信息化程度高、數(shù)據(jù)密集的企業(yè)來說,早先提出的DB-ODS-DW三層體系架構(gòu)已經(jīng)表現(xiàn)出較明顯的功能局限性,無法滿足“全員化”BI發(fā)展趨勢下日常決策對操作型數(shù)據(jù)的需求,信

3、息化企業(yè)迫切需要的是一個符合當前企業(yè)IT策略與IT規(guī)劃的有效的ODS架構(gòu)。
　　 本文首先通過研究國內(nèi)以金融行業(yè)信息化為代表的企業(yè)信息化發(fā)展水平,論述了ODS系統(tǒng)在當前企業(yè)信息化發(fā)展過程中用于滿足BI日常決策對操作型基礎(chǔ)數(shù)據(jù)需求的實際意義；同時分析了當前國內(nèi)ODS系統(tǒng)實施不一致的現(xiàn)狀及問題,歸納了基礎(chǔ)數(shù)據(jù)架構(gòu)的發(fā)展過程,針對當前DB-ODS-DW架構(gòu)存在的問題提出了作為“企業(yè)級操作型基礎(chǔ)數(shù)據(jù)平臺”的ODS有效架構(gòu),在ODS的重要

4、性得到體現(xiàn)的前提下,為保證系統(tǒng)持續(xù)和穩(wěn)定,本文提出了基于系統(tǒng)級和應(yīng)用級別的ODS高可用性系統(tǒng)設(shè)計方案,將集群高可用性理論應(yīng)用于ODS系統(tǒng)之中?！捌髽I(yè)級操作型基礎(chǔ)數(shù)據(jù)平臺”的ODS系統(tǒng)架構(gòu),以“平臺”的概念確定了包括核心ETL功能、數(shù)據(jù)共享、質(zhì)量管理、元數(shù)據(jù)管理等功能定位,提供了全行統(tǒng)一的操作型數(shù)據(jù)存儲環(huán)境和ETL處理環(huán)境。不僅保證了基礎(chǔ)數(shù)據(jù)高效準確的支持,也提高了各應(yīng)用系統(tǒng)的實施效率,在全局上對企業(yè)信息系統(tǒng)架構(gòu)起到支持與提高,是適合當前