操作型數(shù)據(jù)存儲(chǔ)系統(tǒng)的有效架構(gòu)和高可用設(shè)計(jì).pdf

1、隨著信息技術(shù)的發(fā)展和企業(yè)信息化水平的提高,商業(yè)智能(BI)在信息企業(yè)的經(jīng)營與決策中扮演著越來越重要的作用。數(shù)據(jù)倉庫(DW)、聯(lián)機(jī)分析處理(OLAP)、數(shù)據(jù)挖掘(DM)及報(bào)表展現(xiàn)等多種技術(shù)構(gòu)成了一個(gè)相對(duì)完整的BI技術(shù)架構(gòu),數(shù)據(jù)則是這些技術(shù)依賴的基礎(chǔ)前提。通過抽取(Extraction)、轉(zhuǎn)換(Transformation)、清洗(Cleaning)與加載(Loading)等ETL過程獲取完整的、準(zhǔn)確的基礎(chǔ)數(shù)據(jù)支持成了Bl實(shí)現(xiàn)的關(guān)鍵之一。操

2、作型數(shù)據(jù)存儲(chǔ)(ODS)是為了滿足各系統(tǒng)之間數(shù)據(jù)快速加載與整合的需求提出的一種數(shù)據(jù)架構(gòu)概念。早期ODS的定位處于應(yīng)用數(shù)據(jù)庫與DW中間,ODS系統(tǒng)則專注于進(jìn)行ETL作業(yè)處理。隨著業(yè)務(wù)系統(tǒng)的不斷完善,數(shù)據(jù)分析應(yīng)用對(duì)基礎(chǔ)數(shù)據(jù)的需求也在不斷發(fā)展,特別是對(duì)于當(dāng)前金融、電信、保險(xiǎn)等行業(yè)里信息化程度高、數(shù)據(jù)密集的企業(yè)來說,早先提出的DB-ODS-DW三層體系架構(gòu)已經(jīng)表現(xiàn)出較明顯的功能局限性,無法滿足“全員化”BI發(fā)展趨勢(shì)下日常決策對(duì)操作型數(shù)據(jù)的需求,信

3、息化企業(yè)迫切需要的是一個(gè)符合當(dāng)前企業(yè)IT策略與IT規(guī)劃的有效的ODS架構(gòu)。
　　 本文首先通過研究國內(nèi)以金融行業(yè)信息化為代表的企業(yè)信息化發(fā)展水平,論述了ODS系統(tǒng)在當(dāng)前企業(yè)信息化發(fā)展過程中用于滿足BI日常決策對(duì)操作型基礎(chǔ)數(shù)據(jù)需求的實(shí)際意義；同時(shí)分析了當(dāng)前國內(nèi)ODS系統(tǒng)實(shí)施不一致的現(xiàn)狀及問題,歸納了基礎(chǔ)數(shù)據(jù)架構(gòu)的發(fā)展過程,針對(duì)當(dāng)前DB-ODS-DW架構(gòu)存在的問題提出了作為“企業(yè)級(jí)操作型基礎(chǔ)數(shù)據(jù)平臺(tái)”的ODS有效架構(gòu),在ODS的重要

4、性得到體現(xiàn)的前提下,為保證系統(tǒng)持續(xù)和穩(wěn)定,本文提出了基于系統(tǒng)級(jí)和應(yīng)用級(jí)別的ODS高可用性系統(tǒng)設(shè)計(jì)方案,將集群高可用性理論應(yīng)用于ODS系統(tǒng)之中。“企業(yè)級(jí)操作型基礎(chǔ)數(shù)據(jù)平臺(tái)”的ODS系統(tǒng)架構(gòu),以“平臺(tái)”的概念確定了包括核心ETL功能、數(shù)據(jù)共享、質(zhì)量管理、元數(shù)據(jù)管理等功能定位,提供了全行統(tǒng)一的操作型數(shù)據(jù)存儲(chǔ)環(huán)境和ETL處理環(huán)境。不僅保證了基礎(chǔ)數(shù)據(jù)高效準(zhǔn)確的支持,也提高了各應(yīng)用系統(tǒng)的實(shí)施效率,在全局上對(duì)企業(yè)信息系統(tǒng)架構(gòu)起到支持與提高,是適合當(dāng)前