基于語義集合模型及有限自動機的垃圾郵件分類研究.pdf

1、根據(jù)中國互聯(lián)網(wǎng)協(xié)會反垃圾郵件中心2007年反垃圾郵件調(diào)查，我國的垃圾郵件數(shù)量居全球第三位，反垃圾郵件研究顯得日益突出和重要。目前，主流反垃圾郵件方法是基于內(nèi)容的過濾，該方法可分為基于規(guī)則過濾和基于統(tǒng)計及機器學(xué)習(xí)兩種。首先，本文根據(jù)有限自動機理論對現(xiàn)有的規(guī)則過濾方法進行了改進，使其處理效率大幅提高。第二，由于基于統(tǒng)計及機器學(xué)習(xí)的方法受其所使用的向量空間模型的限制，不能利用郵件中蘊含的豐富語義信息，本文創(chuàng)新性的提出并實現(xiàn)了一種基于語義集合模

2、型(SemanticSetModel，SSModel)的垃圾郵件分類方法，并在CCERT數(shù)據(jù)集上對該模型及分類方法進行了評估及試驗分析。 目前在使用規(guī)則過濾方法的反垃圾郵件系統(tǒng)中，規(guī)則匹配部分基本上都采用SpamAssassin(SA)的辦法，即以per1正則表達(dá)式匹配為基礎(chǔ)。但對這些系統(tǒng)而言，當(dāng)規(guī)則集過大時，系統(tǒng)的性能就會大幅降低。本文將有限自動機理論應(yīng)用于規(guī)則匹配，不僅解決了由于規(guī)則集過大而造成的系統(tǒng)性能下降問題，并且使系統(tǒng)

3、不再依賴于per1解釋器，從而可最大限度的將已有規(guī)則集集成到其它反垃圾郵件系統(tǒng)中。 本文提出的基于語義集合模型的垃圾郵件分類方法有如下兩大優(yōu)點：第一，語義集合模型的獨創(chuàng)性在于它以自然語言中詞之間的天然聯(lián)系為基礎(chǔ)，試圖將語言中所蘊含的部分語義信息保留到模型里，從而可以在以后的處理中利用該信息提高反垃圾郵件系統(tǒng)的準(zhǔn)確率。 第二，由于隱私保護策略，合法郵件數(shù)據(jù)集的獲取是一個難題。本文在語義集合模型的基礎(chǔ)上建立了僅依賴于垃圾郵件

4、數(shù)據(jù)集的“垃圾郵件類”，該郵件類充分挖掘了垃圾郵件本身的特征，使其可以識別足夠多的垃圾郵件，從而將合法郵件定義為它所不能識別的郵件，這與現(xiàn)實中合法郵件廣泛的主題相吻合。這一分類方法使得垃圾郵件過濾系統(tǒng)的建立不再需要合法郵件樣本集，據(jù)我們所知，我們的垃圾郵件過濾系統(tǒng)是第一個僅依賴于垃圾郵件數(shù)據(jù)集的過濾系統(tǒng)。 本文使用垃圾郵件精確率(SP)、垃圾郵件召回率(SR)及總代價率(TCR)對基于語義集合模型的分類方法進行了評估。在CCER