基于內(nèi)容的垃圾郵件過(guò)濾技術(shù)的若干研究.pdf

1、電子郵件系統(tǒng)是互聯(lián)網(wǎng)應(yīng)用的一個(gè)成功典范，它誕生時(shí)間不長(zhǎng)卻給人們的工作和生活的諸方面帶來(lái)了深刻變化。然而，電子郵件在給人們提供便捷通信手段的同時(shí)，也遭到了一些人的濫用。今天，垃圾郵件問題已經(jīng)愈演愈烈，對(duì)互聯(lián)網(wǎng)造成了很大危害。利用技術(shù)方法來(lái)阻擋垃圾郵件，是目前為止對(duì)付垃圾郵件問題最有效的手段。各種過(guò)濾技術(shù)中，內(nèi)容過(guò)濾技術(shù)，借鑒了在文本挖掘問題中獲得成功的機(jī)器學(xué)習(xí)算法，是目前研究較多的一種過(guò)濾技術(shù)。內(nèi)容過(guò)濾方法在分類的效果上以及在不需要太多人

2、工干預(yù)上都有很大優(yōu)勢(shì)，因此逐漸被廣泛接受。 我們分析了目前的垃圾郵件內(nèi)容過(guò)濾技術(shù)，認(rèn)識(shí)到垃圾郵件過(guò)濾技術(shù)與普通的文本挖掘問題存在著很多不同，我們對(duì)之進(jìn)行了分析并提出了一系列改進(jìn)。同時(shí)我們分析了垃圾郵件過(guò)濾技術(shù)不能進(jìn)一步實(shí)用化的原因，并針對(duì)這些原因提出了一些解決辦法。論文的具體內(nèi)容包括： (1)我們總結(jié)和分析了目前基于內(nèi)容的垃圾郵件過(guò)濾技術(shù)的現(xiàn)狀，包括文本表示、特征選擇、分類算法、評(píng)價(jià)體系，以及垃圾郵件過(guò)濾領(lǐng)域中常用的公共

3、語(yǔ)料庫(kù)。 (2)相比傳統(tǒng)文本挖掘問題處理的對(duì)象，郵件包含了種類更豐富的信息。我們通過(guò)對(duì)現(xiàn)有工作的總結(jié)和分析，站在一個(gè)更高的高度，對(duì)垃圾郵件過(guò)濾所能使用的特征進(jìn)行了總結(jié)和分類。其中有關(guān)“屬性特征”的研究目前較少，我們對(duì)之進(jìn)行了詳細(xì)研究，包括屬性特征的作用、如何將屬性特征與普通文本特征相結(jié)合、以及屬性特征的選擇方法等。 (3)郵件語(yǔ)料樣本的差異較大，尤其是在結(jié)構(gòu)方面。我們從實(shí)驗(yàn)和理論兩方面分析說(shuō)明了郵件語(yǔ)料這種在結(jié)構(gòu)上的差異

4、性，并分析了這種差異對(duì)垃圾郵件過(guò)濾造成的負(fù)面影響。在此基礎(chǔ)上，我們提出了一種基于結(jié)構(gòu)特征的雙層垃圾郵件過(guò)濾模型，并針對(duì)這種模型做了一系列的實(shí)驗(yàn)，結(jié)果表明常用分類器在使用這種模型后性能有較明顯的提升，尤其是Naive Bayes算法，在使用了這種模型之后，分類效果大大提高。 (4)盡管基于內(nèi)容的垃圾郵件過(guò)濾在技術(shù)上已經(jīng)比較成熟，但是在實(shí)用上并沒有得到與之相應(yīng)的廣泛應(yīng)用。我們分析了基于內(nèi)容的客戶端垃圾郵件過(guò)濾不能進(jìn)一步擴(kuò)大實(shí)用的原因