社交平臺垃圾信息過濾系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)社交平臺已經(jīng)成為人們溝通交流的重要方式，給人們帶來了極大的便利。但在各種數(shù)據(jù)飛速增長的同時垃圾信息也不斷的膨脹，垃圾信息嚴重干擾用戶的正常交流，損害用戶利益，甚至危害社會安定。這迫切需要凈化網(wǎng)絡(luò)空間，營造健康良好的社交體系。因此，社交平臺垃圾信息過濾技術(shù)已經(jīng)成為當前研究普遍關(guān)注的熱點問題。
　　本文設(shè)計并實現(xiàn)了一種基于文本分類算法的社交平臺垃圾信息過濾系統(tǒng)，其主要工作如下:
　　(1)闡述了數(shù)據(jù)爬取

2、的基本原理，對天涯論壇進行數(shù)據(jù)采集和標注，構(gòu)建實驗語料庫，作為實驗數(shù)據(jù)。其中數(shù)據(jù)采集是通過編寫python腳本調(diào)用urllib2和BeautifulSoup來讀取并分析天涯論壇頁面;數(shù)據(jù)標注是通過人工研判進行文本標注。
　　(2)研究了基于文本分類算法的垃圾信息過濾算法，實現(xiàn)了k近鄰、邏輯回歸、支持向量機、隨機森林和神經(jīng)網(wǎng)絡(luò)五種模型的垃圾信息過濾器，并從過濾性能和過濾器消耗的時間等方面評價五種過濾器的優(yōu)缺點。實驗證明支持向量機算法

3、過濾效果最好，但運行時間相對較長。針對垃圾信息過濾時由于忽略文本結(jié)構(gòu)而導致大量語義信息丟失的問題，本文將一種基于詞序列核的支持向量機算法應用于垃圾信息過濾中，而針對原始詞序列核無句子概念，本文提出了一種基于句抽取的詞序列核，在沒有大幅度增加時間和空間復雜度的基礎(chǔ)上提高了本實驗環(huán)境下垃圾信息過濾的準確率。
　　(3)設(shè)計并實現(xiàn)了一種社交平臺垃圾信息過濾系統(tǒng)(SFS)，該系統(tǒng)包括數(shù)據(jù)導入模塊、數(shù)據(jù)預處理模塊、特征選擇模塊、垃圾信息過濾

4、模塊等，其中特征選擇模塊采用詞頻-逆文檔頻率、信息增益、期望交叉熵、互信息四種方法，并對該系統(tǒng)進行了功能測試和性能測試。
　　在該社交平臺垃圾信息過濾系統(tǒng)中對帖子內(nèi)容進行了測試分析，若內(nèi)容屬于美白、減肥、瘦身產(chǎn)品等垃圾廣告帖時過濾效果好，若屬于中獎、色情、反動言論等垃圾信息帖則過濾效果不好。這可能是因為從天涯論壇爬取的數(shù)據(jù)中大多是產(chǎn)品廣告，而其他類別的垃圾信息很少。通過對社交平臺垃圾信息進行分析和過濾，以幫助軟件開發(fā)者或使用人員盡