基于最小風險貝葉斯的多層次郵件過濾系統(tǒng)的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速普及，電子郵件在人們的生活中占據(jù)了越來越重要的地位。由于它使用方便、發(fā)送快捷、成本低廉等優(yōu)點被人們使用，成為現(xiàn)代社會中非常重要和廣受歡迎的通訊方式之一。但是電子郵件也帶了一些負面影響，尤其是垃圾郵件日益泛濫，它嚴重的占用系統(tǒng)資源，浪費用戶時間并且威脅到網(wǎng)絡的安全。目前已成為互聯(lián)網(wǎng)上急需解決的問題，因此設計并實現(xiàn)有效的垃圾郵件過濾模型具有重要的現(xiàn)實意義。
　　針對目前垃圾郵件普遍存在的一些問題，本文從以下四個方面提出

2、了解決方法:
　　(1)目前的垃圾郵件技術大多集中在機器學習和數(shù)據(jù)挖掘領域，但大多數(shù)的算法不能有效地過濾垃圾郵件，因此針對垃圾郵件過濾中存在的漏報和誤判問題，本文提出了一種改進的最小風險貝葉斯算法。該算法與 AdaBoost算法相結合，實質上就是以最小風險貝葉斯算法為基分類器，使用AdaBoost算法作為訓練分類器的框架，通過訓練經(jīng)常被分錯類的訓練樣本，并對其進行標記以此來達到提高郵件分類準確率的目的。兩個算法結合后，提高了分類的

3、準確率和查全率，并且取得了良好的過濾效果。
　　(2)在做實驗的過程中，發(fā)現(xiàn)一個問題:不一定改進的算法在過濾所有信息時一定比原始算法好。針對該問題提出了一種分流過濾垃圾郵件的思想。分流過濾垃圾郵件的方式就是根據(jù)郵件的內容，先將郵件進行第一次簡單的分類，分成不同的類別，再進行第二次分類，將其劃分到擅長過濾這種內容的模塊中，這樣劃分可以更好的利用算法，有針對性的過濾。
　　(3)針對單一的過濾技術難以有效過濾垃圾郵件的問題，提出

4、了一種多層次過濾垃圾郵件的方法。將黑/白名單、基于關鍵詞、基于規(guī)則、基于內容等多種方法相融合，對郵件的主題、附件名的關鍵詞、郵件正文內容以及附件的文本內容等信息進行過濾，多層次過濾可以充分的發(fā)揮每個技術的優(yōu)點，達到了比較理想的過濾效果。
　　(4)設計并在Microsoft Visual Studio2005平臺上實現(xiàn)了基于內容的多層次郵件過濾系統(tǒng)。訓練和測試郵件樣本都來源于中國教育和科研網(wǎng)緊急響應組(CCERT)垃圾郵件數(shù)據(jù)庫，