垃圾郵件過濾系統(tǒng)的改進及樣本庫生成系統(tǒng)的設計與實現(xiàn).pdf

1、隨著對垃圾郵件過濾的各種技術和算法的不斷發(fā)展，大部分基于機器學習的文本分類算法在實際使用中取得了較好的效果，但由于采用了文本分類中的一些算法，大部分算法都要求在應用前就需要用已分類好的郵件樣本對過濾系統(tǒng)進行學習、訓練，以達到過濾系統(tǒng)性能最優(yōu)化。郵件樣本特別是正常郵件樣本集的缺乏成為阻礙過濾技術發(fā)展的一個重要問題。同樣為了比較各種過濾算法的性能，需要在同一個基準上的實驗結果才有可比性。缺乏郵件樣本集的基準使得評價各種過濾系統(tǒng)的性能變得很難

2、實現(xiàn)。為此，本學位論文對樣本集構建過程中的關鍵技術進行了研究，并以CERNET華東(北)地區(qū)網(wǎng)絡中心的郵件服務器為實驗環(huán)境，設計和實現(xiàn)了一樣本庫生成系統(tǒng)。在此基礎上，根據(jù)構建樣本庫過程中對收集的垃圾郵件特征的研究，在不改變原有綜合郵件過濾系統(tǒng)框架的前提下使用BNR算法對網(wǎng)絡中心現(xiàn)有的郵件過濾系統(tǒng)進行了相應的改進，以提高系統(tǒng)的過濾性能。 論文在研究目前郵件樣本集現(xiàn)狀的基礎上，根據(jù)郵件過濾算法的需求，設計了構建一個基于真實郵件環(huán)境，

3、能夠生成包含標準郵件分類的中英文郵件樣本集生成系統(tǒng)。 首先，論文從技術和非技術兩個方面提出了構建樣本集中存在的問題，并通過對現(xiàn)有構造樣本集的方法的研究分析得出目前過濾系統(tǒng)所需的是能夠模擬真實郵件環(huán)境的包含標準分類的郵件樣本集。在此基礎上，根據(jù)實際郵件收集環(huán)境特點，論文著重研究了構建樣本庫生成系統(tǒng)的關鍵技術，主要包括用戶評判郵件技術、用戶評分和正常郵件隱私保護等方面，提出采用識別重復郵件、模糊綜合評判、多層信息抽取替換并加密存儲等

4、方法并具體實現(xiàn)。 其次，論文在對關鍵問題研究的基礎上，給出了樣本庫生成系統(tǒng)的總體結構設計，以及各個子系統(tǒng)的實現(xiàn)機制和功能結構，實現(xiàn)了一個可基于真實郵件環(huán)境，結合用戶人工評判的生成標準郵件樣本集的生成系統(tǒng)，并將該系統(tǒng)在CERNET華東(北)地區(qū)網(wǎng)絡中心的郵件服務器環(huán)境下投入使用。并且從系統(tǒng)生成的樣本集各項數(shù)據(jù)對系統(tǒng)的性能進行了實驗和分析，結果表明，該系統(tǒng)生成的郵件樣本集滿足了郵件來自真實環(huán)境且郵件樣本標準分類的需求，驗證了系統(tǒng)的有