基于Web Services和Quartz的數(shù)據(jù)整合系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)對于企業(yè)的重要性越來越凸顯，要求企業(yè)之間、企業(yè)內(nèi)部各部門之間數(shù)據(jù)資源能夠?qū)崿F(xiàn)共享、交換、整合集成和再利用。但是由于業(yè)務(wù)差異和信息化建設(shè)周期不同，數(shù)據(jù)資源分散的存儲于不同的網(wǎng)絡(luò)節(jié)點中，服務(wù)于單一系統(tǒng)，逐漸形成了一個個信息孤島。導致數(shù)據(jù)的利用率低下，數(shù)據(jù)潛在的價值沒有得到充分發(fā)揮。大數(shù)據(jù)時代背景下，數(shù)據(jù)整合成為關(guān)鍵，企業(yè)通過對分散的數(shù)據(jù)源進行數(shù)據(jù)提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲和數(shù)據(jù)分析處理來實現(xiàn)數(shù)據(jù)資源最大限度的利用。<

2、br>　　本文設(shè)計的數(shù)據(jù)整合系統(tǒng)旨在以整合有關(guān)應(yīng)急數(shù)據(jù)為主題，收集整合來自中石油各企業(yè)不同數(shù)據(jù)源中的數(shù)據(jù)資源，為中石油應(yīng)急管理系統(tǒng)的正常有效運作提供數(shù)據(jù)服務(wù)支撐。本系統(tǒng)使用Web Services技術(shù)結(jié)合數(shù)據(jù)倉庫來整合分散異構(gòu)的數(shù)據(jù)資源。通過XML轉(zhuǎn)換數(shù)據(jù)，屏蔽數(shù)據(jù)異構(gòu)性，使用Quartz定時調(diào)度Web服務(wù)，定期更新數(shù)據(jù)倉庫中的數(shù)據(jù)，保持數(shù)據(jù)的活力。
　　作者本人參與了數(shù)據(jù)整合系統(tǒng)建設(shè)的整個生命周期過程，從系統(tǒng)需求分析、系統(tǒng)環(huán)境搭

3、建與測試、數(shù)據(jù)庫表設(shè)計、數(shù)據(jù)結(jié)構(gòu)映射設(shè)計、代碼實現(xiàn)與測試到系統(tǒng)上線后運維和性能優(yōu)化等全部過程。具體工作內(nèi)容如下:
　　(1)參與了系統(tǒng)的需求分析，確定收集數(shù)據(jù)的主題、主題內(nèi)容以及主題之間的關(guān)系，并制定相關(guān)文檔。
　　(2)參與了系統(tǒng)開發(fā)環(huán)境的搭建，通過調(diào)研已有的數(shù)據(jù)整合解決方案，結(jié)合實際需要，整合不同的框架，并測試框架的可用性。
　　(3)采用從對象模型到物理模型方式設(shè)計數(shù)據(jù)庫主題表，并且設(shè)計數(shù)據(jù)庫表與XML Sche

4、ma的結(jié)構(gòu)映射規(guī)則，編寫并維護XML Schema定義文件。
　　(4)參與了大量的Web Services客戶端應(yīng)用程序的開發(fā)與測試工作。
　　(5)系統(tǒng)上線后，逐漸發(fā)現(xiàn)系統(tǒng)的性能越來越差，經(jīng)過分析日志，采用JAXB實現(xiàn)對XML的解析，優(yōu)化系統(tǒng)性能，對數(shù)據(jù)庫表建立分區(qū)，提升數(shù)據(jù)庫的查詢速度，從而優(yōu)化了數(shù)據(jù)庫性能。
　　數(shù)據(jù)整合系統(tǒng)已經(jīng)上線運行，整合了中石油不同企業(yè)的30多個數(shù)據(jù)源中的有關(guān)應(yīng)急方面的數(shù)據(jù)，為中石油應(yīng)急管