基于貝葉斯理論的數(shù)據(jù)挖掘方法在電子郵件分類中的應(yīng)用研究.pdf

1、本文研究了基于貝葉斯理論的數(shù)據(jù)挖掘方法在電子郵件分類中的應(yīng)用。 伴隨著人類社會進(jìn)入信息時代，電子郵件作為便捷快速的信息傳遞方式，已經(jīng)成為現(xiàn)代社會商務(wù)、生活不可或缺的一部分。然而電子郵件正被利用發(fā)送一些它的接收者并不需要、并不想接收的信息，所謂垃圾郵件，粗略地講，是指那些不管接收者是否要求發(fā)送、是否愿意接收而大量發(fā)送給數(shù)以千計的接收者的電子郵件。垃圾郵件的數(shù)量在近年來成指數(shù)級別增長，人們不得不著手解決垃圾郵件帶來的問題。

2、應(yīng)對大量垃圾郵件帶來的挑戰(zhàn)，很多反垃圾郵件技術(shù)和方法出現(xiàn)了。反垃圾郵件技術(shù)，或者說電子郵件過濾技術(shù)，本質(zhì)上是電子郵件分類技術(shù)。電子郵件分類系統(tǒng)從最初只能進(jìn)行簡單的基于靜態(tài)規(guī)則的分類，逐步發(fā)展到利用數(shù)據(jù)挖掘方法，針對垃圾郵件發(fā)送的內(nèi)容和發(fā)送垃圾郵件的行為進(jìn)行自動學(xué)習(xí)、識別和判斷，動態(tài)地生成和調(diào)整分類電子郵件的規(guī)則，智能地進(jìn)行分類。在電子郵件分類領(lǐng)域應(yīng)用數(shù)據(jù)挖掘方法是目前學(xué)術(shù)界和工業(yè)界研究的熱點。 在電子郵件分類領(lǐng)域，從實際的應(yīng)用條

3、件，如存儲空間，響應(yīng)速度和計算復(fù)雜度等角度來看，以貝葉斯理論為基礎(chǔ)的基于郵件內(nèi)容的過濾分類技術(shù)是目前的主流和最重要的技術(shù)。本文的研究從數(shù)據(jù)庫知識發(fā)現(xiàn)的角度出發(fā)，在電子郵件分類領(lǐng)域，從選擇目標(biāo)數(shù)據(jù)、預(yù)處理數(shù)據(jù)、轉(zhuǎn)化數(shù)據(jù)入手，進(jìn)行數(shù)據(jù)挖掘以提取模式和關(guān)系，解釋并評價所發(fā)現(xiàn)的關(guān)系在預(yù)測中的效果；分析、研究、比較、評估基于貝葉斯理論的不同的模式和關(guān)系，在實踐中觀察、調(diào)整、改進(jìn)有監(jiān)督機(jī)器學(xué)習(xí)的步驟、參數(shù)。 本文深入地研究了基于貝葉斯理論的

4、數(shù)據(jù)挖掘方法在電子郵件分類中的具體效果和相關(guān)細(xì)節(jié)。首先，探討了電子郵件的分類模型和分類基本假設(shè)；然后，討論了電子郵件的特征提取，包括文檔頻次和信息增益兩種方法，同時根據(jù)經(jīng)驗方法進(jìn)行了特征約簡；最后，比較研究了三種基于貝葉斯理論的分類算法，關(guān)注特征提取方法的不同，特征重要性的判別標(biāo)準(zhǔn)不同，采用的特征的不同類別對分類算法的影響。同時也檢驗了有監(jiān)督學(xué)習(xí)訓(xùn)練的效果。 通過本文的研究工作，以電子郵件分類應(yīng)用為樣本的一整套基于貝葉斯理論的數(shù)

5、據(jù)挖掘分類方法的應(yīng)用系統(tǒng)初具雛形，整個機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘領(lǐng)域需要考慮的特征提取、學(xué)習(xí)訓(xùn)練、分類器設(shè)計、性能評估、反饋改進(jìn)等各個環(huán)節(jié)都給出具體的方法和需要考慮的關(guān)鍵細(xì)節(jié)，并通過實驗的方式進(jìn)行了經(jīng)驗驗證。雖然本文的研究只是針對電子郵件分類這個特殊的領(lǐng)域，但是文中所采用的數(shù)據(jù)挖掘方法具有應(yīng)用上的普遍適用性，可以廣泛地應(yīng)用到各種各樣的分類的領(lǐng)域，比如信用風(fēng)險評估、欺詐行為偵測，甚至應(yīng)用到股價預(yù)測評估當(dāng)中。針對各種各樣的分類應(yīng)用領(lǐng)域，本文提供了一