基于內(nèi)容檢索的垃圾郵件過濾器研究與實(shí)現(xiàn).pdf

1、信息化時(shí)代，垃圾郵件被認(rèn)為是最有效和最廉價(jià)的廣告形式，誘惑一些投機(jī)者采用這種新的途徑傳播信息。垃圾郵件嚴(yán)重干擾人們正常生活，浪費(fèi)用戶的時(shí)間、精力，更為嚴(yán)重的是造成信息安全隱患，損害ISP的市場形象，造成無形資產(chǎn)流失，而且垃圾郵件對網(wǎng)絡(luò)資源消耗和網(wǎng)絡(luò)安全的危害也越來越大。
　　 本文主要研究的是郵件用戶代理過濾，即客戶端過濾，擴(kuò)展郵件代理工具Outlook的垃圾郵件過濾功能，實(shí)現(xiàn)用戶個(gè)性化設(shè)置。目前以文字方式傳播垃圾郵件還是主要的

2、途徑之一，因此本文研究的是基于內(nèi)容檢索的垃圾郵件過濾方法。該方法主要分兩個(gè)階段，訓(xùn)練階段和分類階段。在各個(gè)階段中主要包括五個(gè)主要步驟：郵件預(yù)處理，文本表示，特征選擇，分類預(yù)測和評價(jià)郵件過濾質(zhì)量。其中重點(diǎn)研究了兩個(gè)核心步驟——特征選擇和分類預(yù)測進(jìn)行研究。首先分析了八種常用的特征選擇方法，如文檔頻率、信息增益、互信息、CHI統(tǒng)計(jì)法、期望交叉熵、文本證據(jù)權(quán)、優(yōu)勢率和相關(guān)性得分。特別是對互信息法進(jìn)行深入研究后發(fā)現(xiàn)：當(dāng)某一特征詞僅在一個(gè)類別中出現(xiàn)

3、時(shí)，此時(shí)互信息值彼此相等，這樣導(dǎo)致無法區(qū)分它們之間的重要程度。從這一點(diǎn)出發(fā)，本文得出改進(jìn)后的互信息法——利用調(diào)整后的TFIDF權(quán)重函數(shù)對這些特征詞再次衡量，使得特征詞有了更好的區(qū)分類別的能力。此外，本文還對兩種常用分類算法進(jìn)行研究：貝葉斯分類和支持向量機(jī)。
　　 在實(shí)驗(yàn)分析部分，本文選取常用的Ling-Spam 標(biāo)準(zhǔn)郵件集。從四個(gè)方面對各種算法進(jìn)行測試，即不同的特征選擇方法、維數(shù)、分類算法和訓(xùn)練集個(gè)數(shù)，采用F1值和虛報(bào)率對結(jié)果進(jìn)