基于校園DNS日志數(shù)據(jù)的可視化分析研究與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的不斷發(fā)展和應(yīng)用的普及，人們對(duì)網(wǎng)絡(luò)的依賴越來(lái)越多，網(wǎng)上聊天、休閑娛樂(lè)、電子購(gòu)物等隨處可見(jiàn)。在網(wǎng)絡(luò)應(yīng)用的進(jìn)行中，其中產(chǎn)生了大量的數(shù)據(jù)。而流量日志數(shù)據(jù)就是其中的一類(lèi)，它實(shí)時(shí)記錄用戶在網(wǎng)絡(luò)中的行為蹤跡，數(shù)據(jù)規(guī)模比較大。這些數(shù)據(jù)中蘊(yùn)含著業(yè)務(wù)需求與異常行為等比較豐富的信息，而這些信息在數(shù)據(jù)中是難以直接發(fā)現(xiàn)的。為了便于數(shù)據(jù)閱讀者獲取其中蘊(yùn)含的信息，需要使用一些方法將這些隱藏的信息發(fā)掘出來(lái)，可視化就是一種很好的手段。
　　 針對(duì)大規(guī)模

2、網(wǎng)絡(luò)流數(shù)據(jù)中用戶與資源的業(yè)務(wù)需求和異常行為的發(fā)現(xiàn)等問(wèn)題，本文設(shè)計(jì)了大規(guī)模流數(shù)據(jù)可視化分析的架構(gòu)模型。首先，從網(wǎng)絡(luò)中采集數(shù)據(jù)，然后對(duì)采集到的數(shù)據(jù)進(jìn)行清洗，提取數(shù)據(jù)中的屬性特征，最后將屬性特征按照不同的關(guān)系類(lèi)別使用不同的可視化展現(xiàn)形式表示出來(lái)并進(jìn)行分析。在研究過(guò)程中，主要解決了以下幾個(gè)問(wèn)題:(1)對(duì)大規(guī)模流數(shù)據(jù)的索引進(jìn)行優(yōu)化，選擇高效的方法以實(shí)現(xiàn)實(shí)時(shí)處理;(2)根據(jù)數(shù)據(jù)中屬性特征之間的關(guān)系提取出不同的屬性特征;(3)對(duì)不同的業(yè)務(wù)需求選擇合適