基于內容的中文垃圾郵件過濾算法研究.pdf

1、隨著Internet的發(fā)展，電子郵件以其快捷、方便、低成本的特點得到了廣泛的使用，這也給一些不法分子提供了可乘之機，肆意的傳播垃圾郵件，不僅占用有限的網絡資源，耗費用戶大量的時間，還對系統(tǒng)安全造成了嚴重的威脅，嚴重影響和危害人們的工作、生活和學習。垃圾郵件也不斷從內容上和形式上改進來逃避過濾器的識別，采用技術手段杜絕垃圾郵件的傳播已經成為刻不容緩的事實。其中基于內容的垃圾郵件過濾技術就是從郵件正文的角度出發(fā)設計過濾器，識別過濾垃圾郵件的

2、方法。
　　 全文主要從以下三大技術方面進行基于內容的垃圾郵件過濾算法的研究：
　　 (1)文本處理時特征矢量的高維性對分類效果和計算效率有重要的影響，本文在傳統(tǒng)算法研究的基礎上采用投票的思想，對各種算法的權值排序然后取其交集，仿真研究了維數(shù)對分類結果的影響。實驗驗證這種特征提取算法能很好的綜合傳統(tǒng)算法的優(yōu)點，達到了滿意的降維效果。
　　 (2)針對Winnow算法參數(shù)設置繁瑣及抖動的問題，提出一種自修正參數(shù)的W

3、innow形式，根據(jù)訓練樣本判別函數(shù)與閾值的關系實時調節(jié)修正因子，實驗驗證該算法能較好的減少訓練時出現(xiàn)的抖動，減弱了訓練次數(shù)對分類結果的影響，而且它具有很好的自適應性，提高了Winnow算法的適應性。
　　 (3)針對KNN算法分類結果對語料集的依賴性，提出一種基于類中心的樣本剪裁方法，該方法根據(jù)語料集中樣本與樣本類中心的余弦夾角，挑選最近的樣本作為測試樣本，不僅大大減小了測試時的樣本大小，而且解決了樣本分布不均勻對結果的影響。