基于MapReduce的可視化數據處理平臺的設計與實現.pdf

1、在互聯網飛速發(fā)展的進程中，越來越多的企業(yè)使用大數據對數據進行分析和評估。數據分析師需要使用MapReduce等計算框架對數據進行統(tǒng)計匯總后對其進行分析，然而大多數的數據分析師都知道如今最流行的Hadoop計算框架卻并不能熟練地使用Hadoop的工作命令對計算任務進行操作。對于MapReduce的使用往往需要非常專業(yè)的云計算工程師完成，而Hadoop的學習過程又極其復雜，學習周期較長，這使得數據分析師使用MapReduce的難度很大。另一

2、方面，人工進行MapReduce操作，由于各種主觀因素經常導致任務失敗或錯誤。雖然針對MapRed uce設計的工作流引擎產品存在，但是該類產品都是使用指令行進行操作，均缺少工程項目所需的可視化操作環(huán)境，部署和操作均十分復雜。針對上述問題，本文設計了可視化的平臺并結合可視化轉化XML算法，本文主要工作包括三個方面：
　　1.提供可視化的操作界面，通過定義工作流程圖形的方式，對MapRed uce作業(yè)進行部署。數據分析員面對大數據信

3、息處理的情況下，通過使用可視化工具對多個MapReduce作業(yè)進行定義和部署，無需關心后臺程序的實際操作。通過對用戶可視化操作分析，提出了用戶工作空間概念，包含團隊文件共享和用戶流程圖管理的應用模塊。任務提交后，利用Oozie的反饋機制，設計實現了可視化的流程狀態(tài)查詢模塊，方便可視化管理MapReduce工作流程作業(yè)。
　　2.闡述了工作流引擎和MapRed uce計算框架的基本概念和原理的基礎上，介紹了可視化與XM L文檔轉換算

4、法，設計并闡述了XDWE基本運行流程及相關技術。針對工作流程可視化操作，提出工作流程向XML文檔轉換算法，同時為管理工作流程圖提出XM L文檔向工作流程反向轉換算法。針對Map Red uce工作流程分析，設計了XDWE模塊對工作流程進行部署。
　　3.分析了可視化數據處理平臺的業(yè)務流程和應用需求，分別對該系統(tǒng)的數據和過程進行數據建模。在此基礎上，建立了系統(tǒng)的總體應用框架。設計了系統(tǒng)多個功能模塊并進行詳細的代碼設計、數據庫設計、輸

5、入輸出設計，滿足相應的設計需求，最終實現了可視化數據處理平臺。系統(tǒng)己經過測試并初步應用，運行狀況良好。
　　本文討論了可視化操作和工作流引擎的相關理論，結合企業(yè)的實際使用背景，設計了符合企業(yè)實際需求的可視化處理系統(tǒng)，并利用相關技術實現該工程系統(tǒng)。系統(tǒng)的應用將會使得數據分析人員對數據處理進行透明操作。只需要將處理流程以流程圖的形式呈現，即可得到想要的數據處理信息。通過平臺測試可知平臺運行效率比單獨使用指令運行MapReduce低，但