大數(shù)據(jù)環(huán)境下校園網(wǎng)行為挖掘關鍵問題的研究與應用.pdf

1、互聯(lián)網(wǎng)對人們的日常生活有著重要的影響，隨著人們使用互聯(lián)網(wǎng)的方式方法和應用類型日趨多元化，由此產生的用戶網(wǎng)絡行為數(shù)據(jù)量也在迅速增長。從海量的網(wǎng)絡行為數(shù)據(jù)中挖掘出可用的信息，不僅具有很大的研究價值和商業(yè)價值，還可以為政府提供決策支持，為人們的生產和生活提供指導依據(jù)。本文主要在大數(shù)據(jù)環(huán)境下圍繞網(wǎng)絡行為數(shù)據(jù)采集、建模、分析和挖掘開展了系統(tǒng)性的研究，結合學生學習成績進行數(shù)據(jù)挖掘，分析了網(wǎng)絡行為對學習成績的影響。
　　本研究主要內容包括：⑴在

2、數(shù)據(jù)采集方面，針對在萬兆網(wǎng)絡環(huán)境中使用通用服務器采集數(shù)據(jù)包存在性能不足這一問題，從軟硬件兩方面對問題進行了分析，并對近年國際上新出現(xiàn)的報文捕獲方案進行了對比試驗，給出了在萬兆網(wǎng)絡環(huán)境中使用通用服務器線速采集數(shù)據(jù)包的方法，并對協(xié)議識別方法進行了研究。⑵在描述性分析階段，針對在大數(shù)據(jù)環(huán)境下分析觀測網(wǎng)絡行為數(shù)據(jù)存在難度大的問題，使用Pentaho平臺對數(shù)據(jù)進行了清洗轉換，實現(xiàn)了一個WEB端的可視化觀測環(huán)境，設計了多維分析模型，滿足了研究工作中

3、描述性分析的需要。⑶在指標運算方面，針對使用傳統(tǒng)方法處理海量網(wǎng)絡行為數(shù)據(jù)存在效率低的問題，使用Pentaho平臺調用Hadoop組件和R插件的方法對采集到的網(wǎng)絡行為數(shù)據(jù)進行并行運算，并利用顆粒度放大方法和箱線圖法對網(wǎng)絡行為數(shù)據(jù)進行歸約，解決了數(shù)據(jù)處理過程中處理效率低的問題。⑷利用網(wǎng)絡行為指標和學生成績數(shù)據(jù)開展了挖掘研究工作，采用線性支持向量機（Linear SVM）、梯度上升樹（Gradient Boosted Trees，GBT）和K