基于即時(shí)分類(lèi)的垃圾郵件過(guò)濾關(guān)鍵技術(shù)的研究.pdf

1、電子郵件方便、快捷、低成本的特性使得它已經(jīng)成為Internet上使用最廣泛的應(yīng)用之一，并日益成為人們工作、生活必不可少的通信工具。隨之而來(lái)的是近年來(lái)垃圾郵件的日趨泛濫給電子郵件系統(tǒng)和用戶帶來(lái)了嚴(yán)重的危害甚至損失。垃圾郵件的傳播不僅浪費(fèi)大量網(wǎng)絡(luò)資源，造成郵件服務(wù)器負(fù)荷增大，而且也成為有害信息和病毒傳播的重要途徑。同時(shí)，垃圾郵件也會(huì)造成用戶時(shí)間與金錢(qián)方面的損失。針對(duì)垃圾郵件的問(wèn)題，研究者提出了許多技術(shù)來(lái)達(dá)到反垃圾郵件的目的。比較常見(jiàn)的反垃圾

2、郵件技術(shù)主要有基于關(guān)鍵字匹配的過(guò)濾技術(shù)、基于黑白名單的過(guò)濾技術(shù)、基于規(guī)則的過(guò)濾技術(shù)等等。然而，這些技術(shù)由于其技術(shù)本身的原因，適用范圍狹窄，需要大量的人工干預(yù)。研究者將智能技術(shù)引入了垃圾郵件過(guò)濾領(lǐng)域，例如貝葉斯技術(shù)。樸素貝葉斯能高效的面對(duì)垃圾郵件過(guò)濾問(wèn)題，研究者在此基礎(chǔ)上提出了很多改進(jìn)的算法，并取得較好的效果。但是，一方面這些方法都是面向單個(gè)實(shí)例，即假設(shè)分類(lèi)器在某時(shí)刻只能處理單個(gè)實(shí)例；另一方面大多數(shù)的方法都需要較多的、較為固定的計(jì)算資源。

3、而現(xiàn)實(shí)中在短時(shí)間內(nèi)往往會(huì)有大量的郵件到達(dá)服務(wù)器需要過(guò)濾、投遞、轉(zhuǎn)發(fā)，需要有針對(duì)所有郵件的過(guò)濾方法。本文引入Anytime分類(lèi)模型，Anytime分類(lèi)模型可以在有限的計(jì)算資源的情況下得到相對(duì)優(yōu)秀的返回結(jié)果，當(dāng)有更多的計(jì)算資源的時(shí)候，能調(diào)用SPODE(SuperParentOne-DependencEstimators)進(jìn)一步的精煉分類(lèi)結(jié)果。Anytime分類(lèi)模型在計(jì)算資源與最終結(jié)果之間取得了一種動(dòng)態(tài)平衡。 本文系統(tǒng)地分析了垃圾郵件

4、的起源、背景以及發(fā)展?fàn)顩r，重點(diǎn)強(qiáng)調(diào)了垃圾郵件對(duì)世界的經(jīng)濟(jì)、社會(huì)、網(wǎng)絡(luò)安全的危害。通過(guò)分析反垃圾郵件技術(shù)的起源、發(fā)展與國(guó)內(nèi)外的最新技術(shù)進(jìn)展，全面的歸納了現(xiàn)有反垃圾郵件技術(shù)的優(yōu)點(diǎn)與不足之處。本文在總結(jié)和借鑒目前反垃圾郵件領(lǐng)域的相關(guān)研究成果的基礎(chǔ)上，深入細(xì)致的討論了基于貝葉斯分類(lèi)的不確定智能機(jī)器學(xué)習(xí)理論，針對(duì)現(xiàn)有的智能反垃圾郵件技術(shù)的缺陷，提出了相關(guān)的一些算法與解決方法，并取得了較好的成果，達(dá)到了理論研究與實(shí)際應(yīng)用相結(jié)合的目的和效果。主要的研

5、究成果包括： 1、在貝葉斯網(wǎng)絡(luò)的基礎(chǔ)上，削弱貝葉斯分類(lèi)模型關(guān)于樸素貝葉斯屬性之間條件獨(dú)立的假設(shè)，將實(shí)例的屬性分為兩個(gè)部分：強(qiáng)屬性和弱屬性。強(qiáng)屬性之間保留部分屬性之間的相關(guān)性，而弱屬性依然保留樸素貝葉斯的屬性之間條件獨(dú)立的假設(shè)。以此構(gòu)建一個(gè)雙級(jí)貝葉斯分類(lèi)模型，并將該模型應(yīng)用于垃圾郵件過(guò)濾的應(yīng)用上。實(shí)驗(yàn)證明該分類(lèi)模型能取得較好的效果。 2、現(xiàn)有的基于貝葉斯垃圾郵件過(guò)濾技術(shù)，由于其計(jì)算時(shí)間需求的相對(duì)固定而不能很好的適用于需要即

6、時(shí)響應(yīng)的在線業(yè)務(wù)。針對(duì)這個(gè)不足之處，引入了可以用于在線應(yīng)用的即時(shí)(Anytime)分類(lèi)模型?；诨バ畔⒗碚?，本文提出AAPMIE(AnytimeAveragedProbabilisticunderMutualInformationEstimators)分類(lèi)算法。該算法根據(jù)屬性所攜帶的平均互信息的大小對(duì)被當(dāng)作父屬性的屬性進(jìn)行排序，依次挑選父屬性作為SPODE更新概率估計(jì)值。實(shí)驗(yàn)證明，該分類(lèi)算法能取得較好的分類(lèi)效果，特別是在分類(lèi)的早期能快速

7、的降低分類(lèi)的錯(cuò)誤率。 3、在即時(shí)貝葉斯分類(lèi)模型的基礎(chǔ)上，提出一種基于不完全樸素貝葉斯分類(lèi)模型的新的郵件過(guò)濾分類(lèi)模型。該分類(lèi)模型放松樸素貝葉斯分類(lèi)模型分類(lèi)模型的條件獨(dú)立假設(shè)，選擇部分屬性作為父屬性，并在一定程度上考慮了屬性之間的語(yǔ)義關(guān)聯(lián)。實(shí)驗(yàn)顯示該分類(lèi)模型對(duì)垃圾郵件的過(guò)濾更有效。 4、在傳統(tǒng)的Anytime分類(lèi)模型基礎(chǔ)之上，提出一種基于全局的Anytime分類(lèi)模型：SAAPE(SchedulingAnytimeAverag

8、edProbabilisticEstimators)分類(lèi)模型。SAAPE分類(lèi)模型著眼于在有限的計(jì)算資源的條件下提高總體的分類(lèi)準(zhǔn)確率。SAAPE分類(lèi)模型與傳統(tǒng)的Anytime分類(lèi)模型相比更為靈活。SAAPE分類(lèi)模型可以根據(jù)用戶的需求隨時(shí)中斷計(jì)算，即時(shí)將結(jié)果返回給用戶。而當(dāng)用戶可以等待時(shí)，SAAPE分類(lèi)模型可以利用多余的計(jì)算資源得到更精確的分類(lèi)結(jié)果。 5、構(gòu)建了一個(gè)基于全局的Anytime垃圾郵件過(guò)濾試驗(yàn)系統(tǒng)，AASS(Anytim