基于內(nèi)容挖掘的中文垃圾郵件過濾技術(shù)研究與實現(xiàn).pdf

1、隨著因特網(wǎng)的迅猛發(fā)展，在線的可用電子信息業(yè)迅速增加，電子郵件作為一種最快捷、最經(jīng)濟的通信方式也得到了飛速發(fā)展。同時，許多垃圾郵件也在網(wǎng)絡(luò)中蔓延，占據(jù)了郵件服務(wù)器中的大量存儲空間，用戶往往要花費大量的時間去刪除這些垃圾郵件。因此，研究郵件的自動過濾具有重要的意義。 本文首先深入研究了國內(nèi)外反垃圾郵件相關(guān)文獻和數(shù)據(jù)，對已有的垃圾郵件過濾技術(shù)進行了分析和總結(jié)。垃圾郵件過濾技術(shù)是反垃圾郵件的重要手段，目前主要有基于IP地址的垃圾郵件過濾

2、技術(shù)、基于規(guī)則的垃圾郵件過濾技術(shù)和基于內(nèi)容的垃圾郵件過濾技術(shù)。 本文主要研究基于內(nèi)容挖掘的中文垃圾郵件過濾技術(shù)，其中文本挖掘、郵件預(yù)處理以及分類是郵件過濾系統(tǒng)的關(guān)鍵技術(shù)，在對其基本原理和實現(xiàn)機制進行深入研究的基礎(chǔ)上，為減少郵件的誤判對用戶造成的損害及垃圾郵件漏判造成的影響，本文提出了一個基于文本挖掘的垃圾郵件過濾框架，并針對該框架的各個部分進行了相應(yīng)的研究和改進。在郵件過濾系統(tǒng)的預(yù)處理部分，本文提出了一種支持首字哈希和完全二分查

3、找的改進正向最大匹配分詞算法以提高垃圾郵件過濾系統(tǒng)的分詞速度和系統(tǒng)效率；文本特征的提取則采用滑動窗口的優(yōu)勢率法，通過擴大詞匯特征提取范圍來降低分類漏判率和提高分類精度。在郵件過濾系統(tǒng)的分類部分，本文提出了二項式模型(BIM)和多項式模型(MM)相結(jié)合的混合模型(HM)，應(yīng)用到最小風險貝葉斯分類器中，以降低垃圾郵件過濾系統(tǒng)分類錯誤率，提高分類準確率。 本文最后基于以上框架，設(shè)計和實現(xiàn)了一個基于內(nèi)容挖掘的中文垃圾郵件過濾原型系統(tǒng)，給