對提高企業(yè)級數(shù)據(jù)倉庫數(shù)據(jù)即時性的研究.pdf

1、隨著計算機(jī)技術(shù)和信息技術(shù)的飛速發(fā)展，電子信息數(shù)據(jù)在企業(yè)的日常運(yùn)營中越來越重要，企業(yè)迫切需要高效、精確、及時地分析數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)加載周期較長，往往只能提供對歷史數(shù)據(jù)的分析與查詢，不能實時地反應(yīng)企業(yè)商業(yè)信息變。實時數(shù)據(jù)倉庫作為傳統(tǒng)數(shù)據(jù)倉庫的擴(kuò)展，有效地縮短了信息延時，為企業(yè)提供了更有價值的戰(zhàn)術(shù)型決策支持。數(shù)據(jù)倉庫建模，ETL實現(xiàn)，前端查詢是實現(xiàn)整個數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)，要在數(shù)據(jù)倉庫系統(tǒng)中，提高實現(xiàn)實時性，數(shù)據(jù)建模，設(shè)計相應(yīng)的ETL數(shù)

2、據(jù)抽取方案。
　　 本文在全面分析實時數(shù)據(jù)倉庫的研究現(xiàn)狀和數(shù)據(jù)倉庫技術(shù)的基礎(chǔ)上，給出了實時數(shù)據(jù)倉庫的體系結(jié)構(gòu)，并且討論了實時數(shù)據(jù)倉庫的應(yīng)用。本文通過對企業(yè)級數(shù)據(jù)倉庫的架構(gòu)研究和提出改進(jìn)的架構(gòu)開始，通過對實時數(shù)據(jù)倉庫的關(guān)鍵技術(shù)，重點分析了實時的實現(xiàn)難點：針對與企業(yè)級數(shù)據(jù)倉庫結(jié)構(gòu)體系中存在的結(jié)構(gòu)單一性導(dǎo)致的開發(fā)和性能的問題提出一個較合理的改進(jìn)方案；針對企業(yè)級數(shù)據(jù)倉庫數(shù)據(jù)模型中的設(shè)計步驟和技術(shù)提出一些優(yōu)化性能的方案，包括數(shù)據(jù)聚簇的使用

3、、針對數(shù)據(jù)倉庫特殊模型的表劃分設(shè)計、數(shù)據(jù)模型的約束一致性的設(shè)計和數(shù)據(jù)倉庫中數(shù)據(jù)庫索引的優(yōu)化設(shè)計；針對于傳統(tǒng)數(shù)據(jù)倉庫中的ETL中的變更數(shù)據(jù)捕獲和匯總數(shù)據(jù)更新的運(yùn)行效率較低導(dǎo)致的數(shù)據(jù)倉庫數(shù)據(jù)不即時性問題，提出企業(yè)級數(shù)據(jù)倉庫的ETL的優(yōu)化設(shè)計方案。
　　 通過針對這些問題的分析、研究和解決過程，本文提出了企業(yè)級數(shù)據(jù)倉庫的基本架構(gòu)方案來解決企業(yè)級數(shù)據(jù)倉庫架構(gòu)的可拓展性和節(jié)約開發(fā)的成本；通過對企業(yè)級數(shù)據(jù)倉庫的數(shù)據(jù)模型技術(shù)的研究提出一套數(shù)據(jù)

4、倉庫建模的優(yōu)化方案從數(shù)據(jù)模型上來優(yōu)化數(shù)據(jù)倉庫的被訪問實時性能；通過對ETL技術(shù)的改進(jìn)和數(shù)據(jù)庫相關(guān)技術(shù)的分析提出了基于數(shù)據(jù)庫復(fù)制技術(shù)的變更數(shù)據(jù)捕獲方案和基于ODS實時分區(qū)的匯總數(shù)據(jù)更新解決方案來從數(shù)據(jù)抽取、捕捉和轉(zhuǎn)換的過程中縮短時間窗口來減少ETL時間窗口在整個數(shù)據(jù)倉庫的占用時間，并詳細(xì)闡述了設(shè)計過程及實現(xiàn)。最后以汽車行業(yè)“EDS實時數(shù)據(jù)倉庫”項目為背景，實現(xiàn)了所提出的實時的企業(yè)級數(shù)據(jù)倉庫解決方案，結(jié)果證明了方案的合理性與有效性。