基于核偏最小二乘特征提取的垃圾郵件過濾方法的研究.pdf

1、電子郵件是當(dāng)前互聯(lián)網(wǎng)上使用最為廣泛的服務(wù)之一，隨著互聯(lián)網(wǎng)及應(yīng)用的不斷發(fā)展，垃圾郵件大量蔓延，造成社會生產(chǎn)力的極大浪費。因此垃圾郵件過濾非常必要，具有重要的理論意義和社會應(yīng)用價值，成為信息內(nèi)容安全及信息處理等領(lǐng)域廣受關(guān)注的研究課題。
　　目前,基于內(nèi)容的垃圾郵件過濾技術(shù)是該領(lǐng)域的研究重點之一，將郵件過濾作為有監(jiān)督學(xué)習(xí)，即分類問題來處理，構(gòu)成文本分類的一個分支。許多機器學(xué)習(xí)方法已應(yīng)用到垃圾郵件過濾領(lǐng)域，并取得了較好的郵件過濾效果，但是

2、基于向量空間模型表示的郵件數(shù)據(jù)具有高維、稀疏及詞條相關(guān)（同義詞）等特點，造成分類器的泛化能力降低或失效，所以有必要對郵件數(shù)據(jù)進行降維及相關(guān)處理。特征提取是一種重要的數(shù)據(jù)降維方式，如主成分分析(PrincipalComponentAnalysis,PCA)和偏最小二乘(PartialLeastSquares，PLS)等。PCA和PLS是針對線性問題提出的，針對現(xiàn)實世界大量存在的非線性問題，“核方法”(KernelMethod)被引入到機器

3、學(xué)習(xí)領(lǐng)域，同樣PCA和PLS的核形式，即KPCA和KPLS被提出，并用于實踐，如文本挖掘、基因數(shù)據(jù)分析等，取得了巨大的成功。
　　偏最小二乘通過求取原始特征和對應(yīng)的類別特征兩者之間的協(xié)方差最大化問題，來挖掘出原始特征中的內(nèi)在聯(lián)系和隱藏特征，從而得到了一個新的低維的特征空間。核偏最小二乘在偏最小二乘的基礎(chǔ)上引入了核函數(shù)，其可以很好地用于垃圾郵件維度約減和抵消變量（詞條）相關(guān)性帶來的不利影響。
　　本文在深入分析研究垃圾郵件過濾