某商業(yè)銀行歷史數(shù)據(jù)歸檔系統(tǒng)的分析與設計.pdf

1、大數(shù)據(jù)時代已經(jīng)悄然來臨，在信息經(jīng)濟和互聯(lián)網(wǎng)金融沖擊下，在金融媒介多元化競爭中，商業(yè)銀行作為數(shù)據(jù)密集型行業(yè)，將在更廣領域和更深層次獲得并使用涉及客戶方方面面的更加全面、完整、系統(tǒng)的數(shù)據(jù)，并增強對海量數(shù)據(jù)的搜集和分析萃取能力，挖掘分析得到過去不可能獲得的信息和無法企及的商機。由此，商業(yè)銀行的IT系統(tǒng)建設將迎來新的規(guī)劃和變革，其中，歷史數(shù)據(jù)歸檔系統(tǒng)作為全行各種內部數(shù)據(jù)和外部數(shù)據(jù)的長期歷史周期的集中點，更是在商業(yè)銀行大數(shù)據(jù)應用變革中占有重要的一

2、席之地，如何將來自多渠道多系統(tǒng)的數(shù)據(jù)原貌及長期保存，除了支持歷史數(shù)據(jù)的在線使用，并據(jù)此快速支持大數(shù)據(jù)分析應用，是商業(yè)銀行歷史數(shù)據(jù)歸檔系統(tǒng)建設的新方向。
　　在此背景下，論文結合某大型商業(yè)銀行的歷史數(shù)據(jù)管理系統(tǒng)現(xiàn)狀，對以支持大數(shù)據(jù)分析應用為方向的歷史數(shù)據(jù)平臺進行深入研究。通過數(shù)據(jù)采集、數(shù)據(jù)歸檔、數(shù)據(jù)查詢使用、數(shù)據(jù)銷毀等信息生命周期管理，建立全行歷史數(shù)據(jù)集中存儲、管理、使用的歷史數(shù)據(jù)歸檔系統(tǒng)，構建全行統(tǒng)一的歷史數(shù)據(jù)管理辦法和使用流程，

3、采用平臺化開放的運作方式來支撐全行各個系統(tǒng)進行歷史數(shù)據(jù)應用的搭建。技術上，采用Hadoop分布式框架，主要包括了HDFS、MapReduce、HBase等項目，實現(xiàn)基于海量數(shù)據(jù)的高速存儲和查詢，作為大數(shù)據(jù)分析應用的基礎框架。本文以軟件工程思想為主線，從需求分析、總體設計、模塊詳細設計等方面，詳細介紹了實施過程，提出了歷史數(shù)據(jù)歸檔系統(tǒng)的解決方案。
　　系統(tǒng)主要的功能有:原始數(shù)據(jù)的統(tǒng)一接入、檢核、歸檔;建立數(shù)據(jù)資產(chǎn)以及元數(shù)據(jù)管理;制定