基于SVM和D-S理論的垃圾郵件過濾研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，電子郵件以其快捷、方便的優(yōu)點(diǎn)逐漸發(fā)展成為人們工作和生活的重要通信工具之一。然而，隨之而來的垃圾郵件問題也日益嚴(yán)峻，它不僅傳播有害信息，而且耗費(fèi)大量的公共資源，侵害電子郵件用戶和企業(yè)的合法權(quán)益。盡管目前已經(jīng)存在許多的垃圾郵件過濾方法，但是垃圾郵件不降反升的局面表明，已有的垃圾郵件過濾方法并未取得理想的過濾效果。所以，研究新型高效的郵件過濾系統(tǒng)仍具有特別重要的現(xiàn)實(shí)意義。 支持向量機(jī)(SVM)是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上

2、發(fā)展而來的一種新的模式識別方法，在解決有限樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢。它不僅考慮了對推廣能力的要求，而且追求在有限信息的條件下得到最優(yōu)結(jié)果。因此，本文將支持向量機(jī)應(yīng)用于郵件過濾。但是，該技術(shù)通常僅僅被應(yīng)用到基于內(nèi)容的垃圾郵件過濾中，而很少在郵件標(biāo)題中討論到。短小的郵件，包括郵件內(nèi)容為空的，僅通過分析郵件內(nèi)容很難被斷定為垃圾郵件。如果辨別時考慮郵件標(biāo)題的特征，結(jié)果可能會更加客觀和準(zhǔn)確。 另外，由于垃圾郵件

3、本身的一些偽裝方法比較好或者合法郵件的一些關(guān)鍵詞和符合垃圾郵件的關(guān)鍵詞匹配，每個郵件樣本對劃分的影響是不同的。一個郵件樣本不能明確地歸為某一類，而以一定概率或一定隸屬度屬于某一類，則會提高準(zhǔn)確率。因此，僅用郵件分類輸出y∈{-1，+1}表示類別信息并不恰當(dāng)。 從上述兩個問題出發(fā)，本文提出分別根據(jù)郵件信頭和郵件信體的特征，應(yīng)用SVM的概率分類郵件，并在郵件的識別框架中加入“不確定郵件”，即在郵件預(yù)處理時，分別對郵件頭的關(guān)鍵詞段和郵

4、件正文進(jìn)行提取，構(gòu)成郵件頭特征庫和郵件體特征庫，然后用SVM分類器分別訓(xùn)練，應(yīng)用SVM的概率分類郵件，分別計(jì)算出信頭和信體屬于垃圾郵件、合法郵件和不確定郵件這三個類別的概率。 D—S(Dempster Sharer)證據(jù)理論是一套基于“證據(jù)”和“組合”來處理不確定性推理問題的數(shù)學(xué)方法，采用D—S理論能有效地提高目標(biāo)的識別能力，通過D—S證據(jù)合成，目標(biāo)識別的不確定性下降。于是，本文提出利用D—S理論的合成規(guī)則合并信頭和信體的概率