基于文本挖掘的分布式網(wǎng)絡(luò)監(jiān)控系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)安全形勢的日益嚴峻,不良信息的過濾已經(jīng)成為一個必須面對問題。人們迫切需要一個高效的網(wǎng)絡(luò)數(shù)據(jù)監(jiān)控平臺,以凈化網(wǎng)絡(luò)環(huán)境,擺脫不良信息帶來的困擾。然而,當前大多數(shù)監(jiān)控產(chǎn)品對不良信息過濾的效果仍然不理想。它們大多采用關(guān)鍵詞匹配的方式,不僅過于“死板”,而且易產(chǎn)生誤判。因此,為了提高不良信息過濾的效果,本文對傳統(tǒng)的CHI特征提取方法以及TF-IDF權(quán)值計算方法進行改進,運用于SVM算法中,并結(jié)合分布式結(jié)構(gòu),提出一種基于文本挖掘的分布式網(wǎng)

2、絡(luò)監(jiān)控系統(tǒng)DNMS(Distributed Network Monitor System)。
　　論文首先研究了監(jiān)控領(lǐng)域相關(guān)的技術(shù),其中包括常見的監(jiān)控模式和監(jiān)控設(shè)備的部署方式。論文通過對比旁路監(jiān)聽和網(wǎng)橋兩種模式,介紹了不同模式下的監(jiān)控效果。論文解釋了選擇網(wǎng)橋模式的原因,并在此基礎(chǔ)上討論了集中式和分布式兩種不同的監(jiān)控設(shè)備部署方式,從而確定了整個DNMS的架構(gòu)設(shè)計。
　　接著,論文介紹了基于Netfilter的網(wǎng)絡(luò)抓包方式,其中

3、重點研究了Linux平臺的Netfilter過濾框架的基本原理,并討論了如何利用該框架搭建類似于防火墻的數(shù)據(jù)包分析與過濾平臺。在報文解析方面,論文研究了網(wǎng)頁內(nèi)容和郵件內(nèi)容的還原方法,具體包括HTTP、SMTP以及POP3等協(xié)議的解析。論文還重點研究了如何抽取網(wǎng)頁的正文,即網(wǎng)頁去噪問題。在總結(jié)幾種常見去噪方法的基礎(chǔ)上,論文結(jié)合網(wǎng)頁正文的分布特點,提出了一種基于文本塊分布的網(wǎng)頁去噪方法。
　　作為DNMS的核心組件,論文詳細介紹了不良

4、信息的過濾方法。在總結(jié)前人研究成果的基礎(chǔ)上,論文分析了不良信息過濾相對于普通二元分類的特殊性,從而提出特征項提取以及權(quán)值計算的改進方法,使之更適合于不良信息的識別,并將改進后的相關(guān)方法運用于SVM分類算法中,從而提出基于SVM的不良信息過濾框架。在此基礎(chǔ)上,論文對DNMS各個功能模塊進行了詳細的描述,并給出具體的實現(xiàn)過程。
　　最后,為了驗證系統(tǒng)的有效性,論文給出了DNMS的測試過程,并對測試結(jié)果進行分析總結(jié)。測試結(jié)果表明,論文提