面向eCRM的數據世系管理技術研究及其應用.pdf

1、2015屆碩士專業(yè)學位研究生學位論文學號：2013300345面向eCRM的數據世系管理技術研究及其應用面向eCRM的數據世系管理技術研究及其應用論文作者：論文作者：焦緒寧焦緒寧指導教師：指導教師：倪建成副教授倪建成副教授培養(yǎng)單位：培養(yǎng)單位：信息科學與工程學院信息科學與工程學院專業(yè)學位類別：專業(yè)學位類別：工程碩士工程碩士專業(yè)學位領域：專業(yè)學位領域：計算機技術計算機技術摘要I摘要摘要大數據時代到來的標志是海量數據4v特征的出現，隨著互聯網

2、的高速發(fā)展，訪問網絡過程中產生的日志數據、個人資料、通訊信息、影音資料以及各種智能終端產生的大數據集的規(guī)模也在不斷的急劇增大。面對如此大規(guī)模的數據集，大多數企業(yè)以及客戶面臨的難題是當前使用的技術已不能有效管理和處理數據，因此，建立在Hadoop集群上運用HDFS、HBase、Hive的數據世系管理技術為之提供了一種可行解決方案。數據世系是包含源數據，源數據演變的目標數據以及演變過程的信息綜合體，即初始數據經過再加工而產生宏觀數據的整個過

3、程的信息集合。數據世系管理技術的目的是實現對數據的管理與雙向追蹤，通過對數據的溯源實現對數據的全程監(jiān)管。Hadoop集群系統(tǒng)是集數據存儲、數據挖掘、分布式并行編程和分布式協(xié)同等功能軟件的一個完整生態(tài)環(huán)境，具有高可靠性、高可擴展性、高效性、高容錯性以及低成本的特性。其中，分布式并行編程框架MapReduce主要適用于批量文件處理，數據統(tǒng)計和查詢可以采用Hive數據倉庫工具，由此，采用整合HBase和Hive的方式可以大幅度降低數據查詢、統(tǒng)

4、計的難度。因而，充分利用Hadoop集群的高可擴展性以及低成本的特點，不僅可以在商用服務器集群上實現大規(guī)模的結構化、半結構化和非結構化數據的存儲，而且可以實現數據的統(tǒng)計與分析功能。目前，數據世系管理技術在國外正逐漸獲得廣泛應用。國內在理論與實踐方面雖然也取得了一些進展，但其應用仍然處于起步階段。因此，有效、便捷地將建立在Hadoop集群上、應用HBase和Hive的數據世系管理技術運用到政府部門以及企業(yè)中是實現大數據有效管理和應用的一個

5、重點方向。本文在深入研究數據世系、數據溯源模型、數據溯源方法和Perm查詢重寫技術的基礎上，重點研究了Hadoop生態(tài)體系架構及相關存儲和數據倉庫管理工具，實現了eCRM數據世系管理系統(tǒng)。主要研究內容體現在以下兩個方面：1.基于Hadoop生態(tài)系統(tǒng)，通過運用數據世系管理技術對同一數據源內部數據的處理和分析，實現了數據查詢、統(tǒng)計分析和管理世系數據的功能。根據世系信息，通過對結果數據向上溯源，追蹤與之關聯的輸入數據，實現了數據的審查和恢復功