大數(shù)據(jù)環(huán)境下校園網(wǎng)行為挖掘關(guān)鍵問題的研究與應(yīng)用.pdf

1、互聯(lián)網(wǎng)對人們的日常生活有著重要的影響，隨著人們使用互聯(lián)網(wǎng)的方式方法和應(yīng)用類型日趨多元化，由此產(chǎn)生的用戶網(wǎng)絡(luò)行為數(shù)據(jù)量也在迅速增長。從海量的網(wǎng)絡(luò)行為數(shù)據(jù)中挖掘出可用的信息，不僅具有很大的研究價(jià)值和商業(yè)價(jià)值，還可以為政府提供決策支持，為人們的生產(chǎn)和生活提供指導(dǎo)依據(jù)。本文主要在大數(shù)據(jù)環(huán)境下圍繞網(wǎng)絡(luò)行為數(shù)據(jù)采集、建模、分析和挖掘開展了系統(tǒng)性的研究，結(jié)合學(xué)生學(xué)習(xí)成績進(jìn)行數(shù)據(jù)挖掘，分析了網(wǎng)絡(luò)行為對學(xué)習(xí)成績的影響。
　　本研究主要內(nèi)容包括：⑴在

2、數(shù)據(jù)采集方面，針對在萬兆網(wǎng)絡(luò)環(huán)境中使用通用服務(wù)器采集數(shù)據(jù)包存在性能不足這一問題，從軟硬件兩方面對問題進(jìn)行了分析，并對近年國際上新出現(xiàn)的報(bào)文捕獲方案進(jìn)行了對比試驗(yàn)，給出了在萬兆網(wǎng)絡(luò)環(huán)境中使用通用服務(wù)器線速采集數(shù)據(jù)包的方法，并對協(xié)議識別方法進(jìn)行了研究。⑵在描述性分析階段，針對在大數(shù)據(jù)環(huán)境下分析觀測網(wǎng)絡(luò)行為數(shù)據(jù)存在難度大的問題，使用Pentaho平臺對數(shù)據(jù)進(jìn)行了清洗轉(zhuǎn)換，實(shí)現(xiàn)了一個(gè)WEB端的可視化觀測環(huán)境，設(shè)計(jì)了多維分析模型，滿足了研究工作中

3、描述性分析的需要。⑶在指標(biāo)運(yùn)算方面，針對使用傳統(tǒng)方法處理海量網(wǎng)絡(luò)行為數(shù)據(jù)存在效率低的問題，使用Pentaho平臺調(diào)用Hadoop組件和R插件的方法對采集到的網(wǎng)絡(luò)行為數(shù)據(jù)進(jìn)行并行運(yùn)算，并利用顆粒度放大方法和箱線圖法對網(wǎng)絡(luò)行為數(shù)據(jù)進(jìn)行歸約，解決了數(shù)據(jù)處理過程中處理效率低的問題。⑷利用網(wǎng)絡(luò)行為指標(biāo)和學(xué)生成績數(shù)據(jù)開展了挖掘研究工作，采用線性支持向量機(jī)（Linear SVM）、梯度上升樹（Gradient Boosted Trees，GBT）和K