探索性數(shù)據(jù)可視化分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著信息技術的不斷發(fā)展，人們在日常生活中接觸到的數(shù)據(jù)正在以驚人的速度增長，數(shù)據(jù)已經成為人們生活中的重要組成部分，如何對海量數(shù)據(jù)進行有效的分析和處理已經成為當下的研究熱點。數(shù)據(jù)可視化技術通過將數(shù)據(jù)映射為圖形、符號和顏色等，能夠直觀展示數(shù)據(jù)內部隱含的信息，為人們對數(shù)據(jù)做進一步分析和處理提供了參考思路，是大數(shù)據(jù)分析不可或缺的重要手段和工具。可視化方法可以大致分為兩類:探索性可視化與解釋性可視化。前者的目標是在數(shù)據(jù)處理初期階段，借助可視化圖表幫

2、助人們在雜亂的數(shù)據(jù)中發(fā)掘數(shù)據(jù)的內在聯(lián)系;后者是在視覺呈現(xiàn)階段，將己知的信息或知識以可視的方式傳遞給公眾。針對海量未經加工的原始數(shù)據(jù)，提供一個能夠對其進行數(shù)據(jù)轉化與可視化分析的平臺十分必要。
　　本研究面向普通用戶設計并構建了一個支持數(shù)據(jù)接入、數(shù)據(jù)管理、數(shù)據(jù)轉換、數(shù)據(jù)可視化等完整功能的通用探索性數(shù)據(jù)可視分析系統(tǒng)。主要工作包括以下幾點：對數(shù)據(jù)可視化流程、可視化編碼技術、Spark相關技術進行概述，為系統(tǒng)的設計提供理論基礎；從需求分析入

3、手，提煉了系統(tǒng)的主要功能。在此基礎上對系統(tǒng)劃分為項目管理、數(shù)據(jù)集服務、數(shù)據(jù)集轉換、數(shù)據(jù)可視化、用戶操作五個模塊；基于B/S模式對系統(tǒng)進行架構設計，選用Play! Framework2作為Web服務框架。采用MVC的思想將系統(tǒng)劃分為展現(xiàn)層、控制層、業(yè)務邏輯層、數(shù)據(jù)訪問層、數(shù)據(jù)層、加速層，并對各層中使用的工具進行簡要介紹。考慮到對于海量數(shù)據(jù)的處理需求，加速層引入分布式計算框架Spark作為數(shù)據(jù)轉換、數(shù)據(jù)查詢的引擎;數(shù)據(jù)層使用分布式文件系統(tǒng)H