探索性數(shù)據(jù)可視化分析系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著信息技術(shù)的不斷發(fā)展，人們在日常生活中接觸到的數(shù)據(jù)正在以驚人的速度增長，數(shù)據(jù)已經(jīng)成為人們生活中的重要組成部分，如何對海量數(shù)據(jù)進(jìn)行有效的分析和處理已經(jīng)成為當(dāng)下的研究熱點。數(shù)據(jù)可視化技術(shù)通過將數(shù)據(jù)映射為圖形、符號和顏色等，能夠直觀展示數(shù)據(jù)內(nèi)部隱含的信息，為人們對數(shù)據(jù)做進(jìn)一步分析和處理提供了參考思路，是大數(shù)據(jù)分析不可或缺的重要手段和工具?？梢暬椒梢源笾路譃閮深?探索性可視化與解釋性可視化。前者的目標(biāo)是在數(shù)據(jù)處理初期階段，借助可視化圖表幫

2、助人們在雜亂的數(shù)據(jù)中發(fā)掘數(shù)據(jù)的內(nèi)在聯(lián)系;后者是在視覺呈現(xiàn)階段，將己知的信息或知識以可視的方式傳遞給公眾。針對海量未經(jīng)加工的原始數(shù)據(jù)，提供一個能夠?qū)ζ溥M(jìn)行數(shù)據(jù)轉(zhuǎn)化與可視化分析的平臺十分必要。
　　本研究面向普通用戶設(shè)計并構(gòu)建了一個支持?jǐn)?shù)據(jù)接入、數(shù)據(jù)管理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)可視化等完整功能的通用探索性數(shù)據(jù)可視分析系統(tǒng)。主要工作包括以下幾點：對數(shù)據(jù)可視化流程、可視化編碼技術(shù)、Spark相關(guān)技術(shù)進(jìn)行概述，為系統(tǒng)的設(shè)計提供理論基礎(chǔ)；從需求分析入

3、手，提煉了系統(tǒng)的主要功能。在此基礎(chǔ)上對系統(tǒng)劃分為項目管理、數(shù)據(jù)集服務(wù)、數(shù)據(jù)集轉(zhuǎn)換、數(shù)據(jù)可視化、用戶操作五個模塊；基于B/S模式對系統(tǒng)進(jìn)行架構(gòu)設(shè)計，選用Play! Framework2作為Web服務(wù)框架。采用MVC的思想將系統(tǒng)劃分為展現(xiàn)層、控制層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問層、數(shù)據(jù)層、加速層，并對各層中使用的工具進(jìn)行簡要介紹。考慮到對于海量數(shù)據(jù)的處理需求，加速層引入分布式計算框架Spark作為數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)查詢的引擎;數(shù)據(jù)層使用分布式文件系統(tǒng)H