基于覆蓋算法的中文垃圾郵件過濾.pdf

1、Internet的發(fā)展給人們帶來了全新的網(wǎng)絡體驗，其中的電子郵件技術也成為一種快捷、經(jīng)濟的現(xiàn)代通信手段。然而電子郵件在為人們提供便利的通信手段的同時，也日益成為廣告、病毒、惡意程序、不良信息等內容傳播的重要載體，給人們的生活帶來了諸多不便，同時給網(wǎng)絡的安全帶來極壞的影響。因此，解決好垃圾郵件問題具有重要的現(xiàn)實意義。 在多種反垃圾郵件的技術中，垃圾郵件過濾技術以其方便、可引入技術種類豐富成為反垃圾郵件研究領域的一個熱點方向?，F(xiàn)有的

2、垃圾郵件過濾技術主要有基于IP地址的垃圾郵件過濾、基于郵件關鍵字的過濾以及基于郵件內容的過濾，但這些過濾方法均只單純考慮了郵件的部分信息、而忽視了其它的有用部分。本文在對以上的過濾方法進行分析之后，綜合考慮各種過濾方式的優(yōu)點，提出將郵件地址、關鍵字、郵件內容等因素同時考慮進行垃圾郵件過濾。 本文所做的主要工作和創(chuàng)新點如下： 1、對電子郵件的格式進行了較為細致的分析，并在此基礎上具體討論了VC環(huán)境下如何實現(xiàn)對郵件的接收和訪

3、問； 2、本文對以往基于內容的垃圾郵件過濾方法進行了改進，將內容之外的其它各類郵件要素，如來源地址、主題、是否具有附件以及附件類型等，均作為郵件的特征屬性供分類器學習。試驗結果表明，這些屬性對于郵件類別的確定具有重要的影響； 3、對郵件內容進行處理時，為了減少特征向量的維數(shù)，本文使用文本分類中常見的幾種特征降維方法(文本頻度、x<'2>統(tǒng)計量方法、互信息方法、信息增益方法、期望交叉熵方法、文本證據(jù)權方泫)分別對垃圾郵件樣

4、本進行了測試。實驗結果表明，x<'2>統(tǒng)計量方法和期望交叉熵方法對郵件分類最為有效，文本頻度方法和文本證據(jù)權方法稍差，而互信息方法和信息增益的方法效果最差： 4、獲得有效郵件特征向量后，必須使用合適的分類器進行分類。本文首次將張鈴、張鈸教授提出的前向人工神經(jīng)網(wǎng)絡基礎上的覆蓋算法應用到垃圾郵件過濾中。本文對使用覆蓋算法和支持向量機方法作為分類器進行了對比，實驗表明覆蓋算法作為一種優(yōu)秀的分類器，可以有效的進行垃圾郵件過濾，具有較高的

5、正確率； 5、在垃圾郵件的過濾中存在一定的風險性，一般說來，收件人寧愿多接收到一些垃圾郵件也不希望正常郵件被錯判為垃圾郵件。本文從風險角度分析了覆蓋算法對測試樣本進行分類時的過程，根據(jù)分析結果提出對其“拒識”樣本的處理過程進行改進，通過改變非垃圾郵件所屬覆蓋的影響范圍，降低了垃圾郵件過濾時的風險； 6、由于各種模式識別的方法均存在自身的優(yōu)缺點，本文根據(jù)少數(shù)服從多數(shù)的樸素思想，對基于多種模式識別方法的投票式垃圾郵件過濾的可

6、行性進行了探討。 本文在垃圾郵件過濾方面完成了一定的工作，但還存在一些不足，今后可以在以下方面繼續(xù)研究： 1、本文的研究對象是針對中文垃圾郵件，今后可以對非中文垃圾郵件進行研究，將非中文垃圾郵件也納入研究范圍中； 2、本文研究的郵件是傳統(tǒng)意義上的文字形式郵件，但隨著電子郵件技術的發(fā)展，現(xiàn)在已經(jīng)存在并將會有更多的郵件形式，如何從多種郵件形式中獲得所需的過濾郵件信息，是下一步需要研究的內容； 3、多模式識別方