基于語(yǔ)義集合模型及有限自動(dòng)機(jī)的垃圾郵件分類(lèi)研究.pdf

1、根據(jù)中國(guó)互聯(lián)網(wǎng)協(xié)會(huì)反垃圾郵件中心2007年反垃圾郵件調(diào)查，我國(guó)的垃圾郵件數(shù)量居全球第三位，反垃圾郵件研究顯得日益突出和重要。目前，主流反垃圾郵件方法是基于內(nèi)容的過(guò)濾，該方法可分為基于規(guī)則過(guò)濾和基于統(tǒng)計(jì)及機(jī)器學(xué)習(xí)兩種。首先，本文根據(jù)有限自動(dòng)機(jī)理論對(duì)現(xiàn)有的規(guī)則過(guò)濾方法進(jìn)行了改進(jìn)，使其處理效率大幅提高。第二，由于基于統(tǒng)計(jì)及機(jī)器學(xué)習(xí)的方法受其所使用的向量空間模型的限制，不能利用郵件中蘊(yùn)含的豐富語(yǔ)義信息，本文創(chuàng)新性的提出并實(shí)現(xiàn)了一種基于語(yǔ)義集合模

2、型(SemanticSetModel，SSModel)的垃圾郵件分類(lèi)方法，并在CCERT數(shù)據(jù)集上對(duì)該模型及分類(lèi)方法進(jìn)行了評(píng)估及試驗(yàn)分析。 目前在使用規(guī)則過(guò)濾方法的反垃圾郵件系統(tǒng)中，規(guī)則匹配部分基本上都采用SpamAssassin(SA)的辦法，即以per1正則表達(dá)式匹配為基礎(chǔ)。但對(duì)這些系統(tǒng)而言，當(dāng)規(guī)則集過(guò)大時(shí)，系統(tǒng)的性能就會(huì)大幅降低。本文將有限自動(dòng)機(jī)理論應(yīng)用于規(guī)則匹配，不僅解決了由于規(guī)則集過(guò)大而造成的系統(tǒng)性能下降問(wèn)題，并且使系統(tǒng)

3、不再依賴(lài)于per1解釋器，從而可最大限度的將已有規(guī)則集集成到其它反垃圾郵件系統(tǒng)中。 本文提出的基于語(yǔ)義集合模型的垃圾郵件分類(lèi)方法有如下兩大優(yōu)點(diǎn)：第一，語(yǔ)義集合模型的獨(dú)創(chuàng)性在于它以自然語(yǔ)言中詞之間的天然聯(lián)系為基礎(chǔ)，試圖將語(yǔ)言中所蘊(yùn)含的部分語(yǔ)義信息保留到模型里，從而可以在以后的處理中利用該信息提高反垃圾郵件系統(tǒng)的準(zhǔn)確率。 第二，由于隱私保護(hù)策略，合法郵件數(shù)據(jù)集的獲取是一個(gè)難題。本文在語(yǔ)義集合模型的基礎(chǔ)上建立了僅依賴(lài)于垃圾郵件

4、數(shù)據(jù)集的“垃圾郵件類(lèi)”，該郵件類(lèi)充分挖掘了垃圾郵件本身的特征，使其可以識(shí)別足夠多的垃圾郵件，從而將合法郵件定義為它所不能識(shí)別的郵件，這與現(xiàn)實(shí)中合法郵件廣泛的主題相吻合。這一分類(lèi)方法使得垃圾郵件過(guò)濾系統(tǒng)的建立不再需要合法郵件樣本集，據(jù)我們所知，我們的垃圾郵件過(guò)濾系統(tǒng)是第一個(gè)僅依賴(lài)于垃圾郵件數(shù)據(jù)集的過(guò)濾系統(tǒng)。 本文使用垃圾郵件精確率(SP)、垃圾郵件召回率(SR)及總代價(jià)率(TCR)對(duì)基于語(yǔ)義集合模型的分類(lèi)方法進(jìn)行了評(píng)估。在CCER