傳染病監(jiān)測數(shù)據(jù)倉庫的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著傳染病監(jiān)測與防控向廣度和深度的不斷發(fā)展,傳染病監(jiān)測與防控相關(guān)數(shù)據(jù)爆炸式的膨脹,傳統(tǒng)操作型數(shù)據(jù)庫為主的存儲、管理和分析方式已無法滿足海量數(shù)據(jù)分析利用的需求。人們要求計(jì)算機(jī)能夠高效地處理海量日常數(shù)據(jù)的同時,更多地參與數(shù)據(jù)分析和決策支持,最大限度地滿足疾病監(jiān)測與防控的及時性與準(zhǔn)確性,解決整個系統(tǒng)內(nèi)由于信息不平衡引起的“信息孤島”、數(shù)據(jù)冗余等問題。目前的軍隊(duì)傳染病監(jiān)測報(bào)告系統(tǒng)為聯(lián)機(jī)事務(wù)處理模式,數(shù)據(jù)庫設(shè)計(jì)不是為查詢和數(shù)據(jù)分析而優(yōu)化的,查詢分

2、析服務(wù)器和業(yè)務(wù)處理服務(wù)器使用同一個數(shù)據(jù)庫,復(fù)雜查詢分析影響業(yè)務(wù)系統(tǒng)的性能,而且分析模式固定單一,新增分析與功能擴(kuò)展開發(fā)效率低下且不夠靈活,難以滿足疾控機(jī)構(gòu)和衛(wèi)勤管理機(jī)關(guān)對即時、靈活的數(shù)據(jù)分析和決策支持的需求。
　　數(shù)據(jù)倉庫技術(shù)作為一種用于數(shù)據(jù)分析和決策支持的數(shù)據(jù)存儲與組織技術(shù),是實(shí)現(xiàn)海量數(shù)據(jù)高效管理與深入分析的有效解決方案。本文研究如何利用數(shù)據(jù)倉庫技術(shù)解決軍隊(duì)傳染病監(jiān)測報(bào)告的數(shù)據(jù)分析和輔助決策問題,基于具體業(yè)務(wù)需求與可利用的數(shù)據(jù)源

3、,設(shè)計(jì)并實(shí)現(xiàn)了軍隊(duì)傳染病監(jiān)測數(shù)據(jù)倉庫。
　　首先,論文對軍隊(duì)傳染病監(jiān)測數(shù)據(jù)倉庫進(jìn)行需求分析。通過深入分析當(dāng)前軍隊(duì)傳染病監(jiān)測報(bào)告系統(tǒng)現(xiàn)狀,從系統(tǒng)構(gòu)成、數(shù)據(jù)傳輸方式以及分析查詢方式等角度,對當(dāng)前系統(tǒng)的優(yōu)缺點(diǎn)做出總結(jié)。在此基礎(chǔ)上,對擬建數(shù)據(jù)倉庫系統(tǒng)的功能需求、性能需求等做出詳細(xì)規(guī)定。其中功能需求主要包括日常業(yè)務(wù)報(bào)表、業(yè)務(wù)探索式分析、數(shù)據(jù)加載處理與系統(tǒng)管理等四個方面,覆蓋各類用戶對于傳染病監(jiān)測數(shù)據(jù)分析和輔助決策應(yīng)用的基本需求;性能需求主要

4、對系統(tǒng)數(shù)據(jù)一致性、系統(tǒng)時間特性以及系統(tǒng)安全性等做出具體規(guī)定,保證系統(tǒng)的正常運(yùn)行;同時還對系統(tǒng)的使用環(huán)境、數(shù)據(jù)傳輸、運(yùn)維管理等進(jìn)行了規(guī)定。
　　第二,完成了傳染病監(jiān)測數(shù)據(jù)倉庫的系統(tǒng)設(shè)計(jì),包括系統(tǒng)技術(shù)架構(gòu)與多維數(shù)據(jù)模型設(shè)計(jì)等內(nèi)容。通過對數(shù)據(jù)倉庫開發(fā)關(guān)鍵技術(shù)深入分析比較,確定了技術(shù)選型。系統(tǒng)采用三層體系結(jié)構(gòu),分為數(shù)據(jù)源層、數(shù)據(jù)協(xié)調(diào)層與數(shù)據(jù)倉庫層三部分,物理架構(gòu)由數(shù)據(jù)源服務(wù)器、ODS服務(wù)器、數(shù)據(jù)倉庫服務(wù)器、BI應(yīng)用服務(wù)器和客戶端計(jì)算機(jī)五部

5、分組成。系統(tǒng)按照自底向上的建模方法,采用維度事實(shí)模型進(jìn)行多維數(shù)據(jù)的概念模型設(shè)計(jì),以星型模式進(jìn)行邏輯建模,針對傳染病發(fā)病情況與傳染病報(bào)告審計(jì)兩個主題設(shè)計(jì)維度總線,共享疾病、機(jī)構(gòu)、地區(qū)三個維度。此外,傳染病發(fā)病情況主題的基礎(chǔ)粒度為某患者在某時間患某種傳染病,具有診斷時間、開始時間、患者信息、職別、病例信息維度,報(bào)告審計(jì)事實(shí)表基礎(chǔ)粒度為某疾控工作人員在某時間上報(bào)一份傳染病報(bào)告,具有報(bào)告時間、報(bào)告卡信息、報(bào)告人信息、審核情況維度。在上述設(shè)計(jì)的基

6、礎(chǔ)上,完成了具體的事實(shí)表與維度表的設(shè)計(jì)。
　　第三,以全軍疫情和突發(fā)公共衛(wèi)生事件信息報(bào)告系統(tǒng)為主要數(shù)據(jù)來源,利用Oracle Warehouse Builder、Oracle BIEE軟件等工具實(shí)現(xiàn)了傳染病監(jiān)測數(shù)據(jù)倉庫,完成了多維數(shù)據(jù)模型構(gòu)建、數(shù)據(jù)準(zhǔn)備、分析系統(tǒng)開發(fā)等工作。利用Oracle Warehouse Builder工具構(gòu)建了數(shù)據(jù)倉庫多維數(shù)據(jù)模型,包括源系統(tǒng)分析與數(shù)據(jù)驅(qū)動的多維數(shù)據(jù)模型構(gòu)建。在數(shù)據(jù)準(zhǔn)備階段進(jìn)一步檢查和規(guī)范化

7、數(shù)據(jù)源,利用PL/SQL腳本實(shí)現(xiàn)了自動化數(shù)據(jù)清洗,以O(shè)racle Warehouse Builder為數(shù)據(jù)ETL工具設(shè)計(jì)實(shí)現(xiàn)從原始數(shù)據(jù)到統(tǒng)一操作型數(shù)據(jù)和統(tǒng)一操作型數(shù)據(jù)到多維模型數(shù)據(jù)兩個階段的數(shù)據(jù)ETL過程。以O(shè)racle BIEE為主要工具完成聯(lián)機(jī)分析系統(tǒng)的開發(fā),涵蓋日常業(yè)務(wù)報(bào)表、業(yè)務(wù)探索式分析以及相應(yīng)系統(tǒng)管理等功能。
　　本文首次研究建立了全軍性的傳染病監(jiān)測數(shù)據(jù)倉庫,部署于全軍疾病預(yù)防控制中心數(shù)據(jù)中心,為授權(quán)用戶提供數(shù)據(jù)分析服務(wù)

8、。系統(tǒng)包含83種軍隊(duì)規(guī)定上報(bào)的傳染病的監(jiān)測數(shù)據(jù)和業(yè)務(wù)運(yùn)行監(jiān)測數(shù)據(jù),存儲了報(bào)告卡數(shù)據(jù)約90萬條,傳染病發(fā)病報(bào)告數(shù)據(jù)3萬余條,同時每日抽取處理約1000條報(bào)告進(jìn)入數(shù)據(jù)倉庫。系統(tǒng)解決了操作型數(shù)據(jù)庫在傳染病監(jiān)測數(shù)據(jù)的存儲、管理、分析等方面能力的不足,為傳染病監(jiān)測數(shù)據(jù)的深入管理與分析提供了一套高效的解決方案,為數(shù)據(jù)挖掘等更深層次應(yīng)用提供了必要的技術(shù)基礎(chǔ),對傳染病分析預(yù)警、輔助領(lǐng)導(dǎo)決策和相關(guān)科研具有重要參考價(jià)值。
　　在進(jìn)一步的研究工作中,可