基于支持向量機和稀疏技術的中文垃圾郵件分類研究.pdf

1、隨著互聯(lián)網的日益普及,電子郵件服務的應用也越來越廣泛,但是垃圾郵件問題帶來許多不便和巨大浪費。如何有效的對垃圾郵件進行過濾,已成為互聯(lián)網信息安全領域亟需解決的一個難題,對垃圾郵件過濾理論及技術進行研究具有相當重要的現(xiàn)實意義。目前,垃圾郵件過濾技術的主要研究重點是基于郵件內容分析的郵件過濾技術。
　　基于郵件內容的中文垃圾郵件過濾方法主要包括以下幾個方面:郵件正文中文文本分詞、中文文本表示、文本特征詞條選擇以及分類技術幾個部分。針對

2、垃圾郵件過濾中的郵件數(shù)據(jù)維度高且稀疏的特點,本文首先對文本特征選擇的相關技術:信息增益法、互信息法和開方分布等方法以及正則化技術中Lasso理論方法進行了深入研究,并將帶有l(wèi)1范數(shù)的懲罰最小二乘方法,也即最小絕對收縮與選擇算子(Least Absolute Shrinkage Selection Operator, Lasso)引入到文本特征選擇中,利用Lasso方法的系數(shù)約減特性,來完成文本特征詞條的選擇。
　　支持向量機(SV

3、M)方法在文本分類跟垃圾郵件過濾中早已得到了廣泛的應用,對于支持向量機的研究,特別是對支持向量機核函數(shù)方面的研究,一直是機器學習的研究熱點。一般來說,在支持向量機中經常使用到的核函數(shù)有:線性核函數(shù)、多項式核函數(shù)和徑向基核函數(shù)(高斯核函數(shù))等。Q-高斯函數(shù)是一種帶有參數(shù) Q的一般化的高斯函數(shù),在理論應用中有一些高斯函數(shù)所不具有的特性,本文對 Q-高斯函數(shù)進行了深入的理論分析,將Q-高斯函數(shù)引入到SVM,構建Q-高斯SVM分類模型用于垃圾郵

4、件過濾,使用 TREC06C和 CDSCE中文郵件測評數(shù)據(jù)進行仿真實驗,實驗結果表明 Q-高斯SVM用于垃圾郵件過濾具有較好的分類性能。
　　在應對真實世界中的誤分類代價不同以及正負樣本分布不平衡的問題,代價敏感學習方法開始受到越來越多人的重視,在垃圾郵件過濾問題中,正常郵件跟垃圾郵件的誤分代價差異很大,而且在實際生活中,垃圾郵件的數(shù)量也往往占據(jù)絕大多數(shù),此時代價敏感的學習方法就顯得尤為重要。本文將Lin等人提出的代價敏感SVM(