基于內(nèi)容檢索的垃圾郵件過濾器研究與實現(xiàn).pdf

1、信息化時代，垃圾郵件被認為是最有效和最廉價的廣告形式，誘惑一些投機者采用這種新的途徑傳播信息。垃圾郵件嚴重干擾人們正常生活，浪費用戶的時間、精力，更為嚴重的是造成信息安全隱患，損害ISP的市場形象，造成無形資產(chǎn)流失，而且垃圾郵件對網(wǎng)絡(luò)資源消耗和網(wǎng)絡(luò)安全的危害也越來越大。
　　 本文主要研究的是郵件用戶代理過濾，即客戶端過濾，擴展郵件代理工具Outlook的垃圾郵件過濾功能，實現(xiàn)用戶個性化設(shè)置。目前以文字方式傳播垃圾郵件還是主要的

2、途徑之一，因此本文研究的是基于內(nèi)容檢索的垃圾郵件過濾方法。該方法主要分兩個階段，訓(xùn)練階段和分類階段。在各個階段中主要包括五個主要步驟：郵件預(yù)處理，文本表示，特征選擇，分類預(yù)測和評價郵件過濾質(zhì)量。其中重點研究了兩個核心步驟——特征選擇和分類預(yù)測進行研究。首先分析了八種常用的特征選擇方法，如文檔頻率、信息增益、互信息、CHI統(tǒng)計法、期望交叉熵、文本證據(jù)權(quán)、優(yōu)勢率和相關(guān)性得分。特別是對互信息法進行深入研究后發(fā)現(xiàn)：當(dāng)某一特征詞僅在一個類別中出現(xiàn)

3、時，此時互信息值彼此相等，這樣導(dǎo)致無法區(qū)分它們之間的重要程度。從這一點出發(fā)，本文得出改進后的互信息法——利用調(diào)整后的TFIDF權(quán)重函數(shù)對這些特征詞再次衡量，使得特征詞有了更好的區(qū)分類別的能力。此外，本文還對兩種常用分類算法進行研究：貝葉斯分類和支持向量機。
　　 在實驗分析部分，本文選取常用的Ling-Spam 標準郵件集。從四個方面對各種算法進行測試，即不同的特征選擇方法、維數(shù)、分類算法和訓(xùn)練集個數(shù)，采用F1值和虛報率對結(jié)果進