基于數(shù)字指紋的垃圾郵件過濾技術(shù)研究.pdf

1、自從互聯(lián)網(wǎng)普及以來,電子郵件逐漸成為人們生活中便捷的通信手段之一。但隨之產(chǎn)生的垃圾郵件泛濫成災(zāi),除了用戶不希望甚至厭惡收到此類郵件以外,垃圾郵件還占用了大量的網(wǎng)絡(luò)傳輸帶寬,浪費(fèi)了很多存儲(chǔ)空間和運(yùn)算資源,甚至對(duì)網(wǎng)絡(luò)系統(tǒng)的安全構(gòu)成威脅。垃圾郵件過濾技術(shù)是識(shí)別垃圾郵件、阻止垃圾郵件傳播的有效手段,是減少用戶收到不請(qǐng)自來的垃圾郵件數(shù)量的有效方法,目前采用的主要方法包括基于專家知識(shí)的規(guī)則匹配和基于機(jī)器學(xué)習(xí)的文本處理兩類。
　　 一方面,垃

2、圾郵件識(shí)別問題是涉及用戶隱私和信息安全的問題,已有的垃圾郵件過濾方法對(duì)此很少考慮。另一方面,郵件文檔是有別于正常的文本文檔或網(wǎng)頁文檔的特殊格式文檔,除了純文本信息,還可以包含HTML信息、內(nèi)嵌資源和附件等內(nèi)容。已有的基于內(nèi)容的垃圾郵件過濾技術(shù)通常是利用機(jī)器學(xué)習(xí)領(lǐng)域的文本分類技術(shù),忽略了郵件文檔中其他MIME組件的信息,因此過濾效果難以達(dá)到最優(yōu)。第三,垃圾郵件最大的特征是它會(huì)將相同的或相似的內(nèi)容發(fā)送給數(shù)以萬計(jì)的接收者,因此會(huì)在互聯(lián)網(wǎng)上同時(shí)

3、傳送大量副本。傳統(tǒng)的垃圾郵件過濾技術(shù)通常在單用戶或單郵件服務(wù)提供商環(huán)境下對(duì)過濾模型進(jìn)行訓(xùn)練和學(xué)習(xí),因此過濾效果也難以達(dá)到最優(yōu)。第四,垃圾郵件的散播一般都帶有商業(yè)或政治推廣意圖,具有特定的生命周期和受眾群體,從而導(dǎo)致基于靜態(tài)環(huán)境訓(xùn)練和學(xué)習(xí)的垃圾郵件過濾技術(shù)在模型建立之初都有不錯(cuò)的效果,但隨著時(shí)間的推移與用戶偏好的變化,過濾性能會(huì)不斷的下降。
　　 針對(duì)上述問題,理想的垃圾郵件過濾技術(shù)應(yīng)該在保證用戶隱私和信息安全的前提下,有效的利用

4、郵件的MIME構(gòu)成特性,充分利用分散在互聯(lián)網(wǎng)上的郵件用戶的反饋與協(xié)作,并針對(duì)垃圾郵件的時(shí)效性和受眾性進(jìn)行自適應(yīng)的調(diào)節(jié)?；谏鲜隹紤],本文提出了基于數(shù)字指紋的垃圾郵件過濾模型,除了能夠保證郵件處理問題的隱私和安全以外,還能有效的構(gòu)建全局共享的郵件MIME特征知識(shí)庫,為多用戶協(xié)作提供基礎(chǔ),為應(yīng)時(shí)、應(yīng)勢(shì)的自適應(yīng)調(diào)節(jié)提供條件。
　　 首先,本文采用啟發(fā)式搜索和匹配算法實(shí)現(xiàn)多種偽裝特征到同一數(shù)字指紋的映射,建立共享的數(shù)字指紋知識(shí)庫實(shí)現(xiàn)相同

5、或者相似垃圾郵件副本的檢測。提出識(shí)別垃圾郵件的單數(shù)字指紋改進(jìn)策略和多數(shù)字指紋策略,并分析郵件特征抽取的粒度對(duì)垃圾郵件識(shí)別效果的影響,闡述基于數(shù)字指紋策略的郵件類別判定算法。
　　 進(jìn)一步,本文提出基于MIME組件拆分的兩階段垃圾郵件過濾模型,將完全相同或基本相同的垃圾郵件副本在第一階段進(jìn)行識(shí)別和過濾,將經(jīng)過惡意偽裝的相似垃圾郵件副本在第二階段進(jìn)行識(shí)別和過濾。為了對(duì)共享的數(shù)字指紋知識(shí)庫中的數(shù)字指紋有效的設(shè)定指示器分值,提出多用戶協(xié)

6、作的過濾增強(qiáng)模型,定義不同角色的反饋者,并對(duì)反饋者的信用度進(jìn)行評(píng)估,依此計(jì)算數(shù)字指紋的指示器權(quán)重分值。
　　 最后,在共享數(shù)字指紋知識(shí)庫的基礎(chǔ)上,為保持模型的長期有效性,本文提出概念漂移的雙級(jí)別檢測算法,采用數(shù)字指紋的漸進(jìn)遺忘機(jī)制實(shí)現(xiàn)針對(duì)時(shí)間推移的自適應(yīng)調(diào)節(jié):為滿足不同用戶偏好的差異性,本文定義與用戶相關(guān)的概念差異度,對(duì)模型中的啟發(fā)式算法進(jìn)行優(yōu)化,提出基于概念子類別的郵件聚類算法,實(shí)現(xiàn)針對(duì)不同受眾群體的自適應(yīng)調(diào)節(jié)。