基于最大熵模型的垃圾郵件過(guò)濾系統(tǒng)研究.pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ拧⒔涣鞯闹匾侄沃?，但垃圾郵件的泛濫已帶來(lái)嚴(yán)重后果，有效地區(qū)分合法郵件和垃圾郵件成為一項(xiàng)緊迫的任務(wù)。 近年來(lái)，有關(guān)垃圾郵件過(guò)濾技術(shù)的研究逐漸興起，常見(jiàn)的過(guò)濾方法有黑／8名單技術(shù)、規(guī)則過(guò)濾等，但由于垃圾郵件的特征在不斷地變化，規(guī)則難以維護(hù)、準(zhǔn)確率不高等原因，這些方法都具有一定的局限性。目前，把垃圾郵件過(guò)濾與機(jī)器學(xué)習(xí)、文本分類和信息過(guò)濾技術(shù)結(jié)合起來(lái)，對(duì)郵件正文內(nèi)容進(jìn)行分析，成為研究的熱點(diǎn)。基于內(nèi)容

2、的分析能夠自動(dòng)獲得垃圾郵件的特征，是一種更為精確的垃圾郵件過(guò)濾技術(shù)。 本文首先介紹了垃圾郵件過(guò)濾技術(shù)的研究背景，重點(diǎn)對(duì)目前常用的基于內(nèi)容的垃圾郵件過(guò)濾算法進(jìn)行了分析、比較。在此基礎(chǔ)上，對(duì)郵件進(jìn)行預(yù)處理，將其表示成XML格式，為面向郵件的應(yīng)用程序開(kāi)發(fā)提供了統(tǒng)一的結(jié)構(gòu)化表示。 最大熵模型是一個(gè)比較成熟的統(tǒng)計(jì)模型，其計(jì)算模型獨(dú)立于特定的任務(wù)，具有簡(jiǎn)潔、通用和易于移植等特點(diǎn)，近年來(lái)在自然語(yǔ)言處理領(lǐng)域得到了廣泛應(yīng)用。 本文

3、的重點(diǎn)工作是將最大熵方法應(yīng)用到垃圾郵件過(guò)濾中，提出了基于最大熵的垃圾郵件過(guò)濾系統(tǒng)的基本框架；結(jié)合郵件的半結(jié)構(gòu)化特性，提取郵件的結(jié)構(gòu)特征、正文特征，對(duì)郵件內(nèi)容進(jìn)行初步的信息抽取，將郵件表示成郵件特征向量，并對(duì)使用不同特征集情況下的過(guò)濾性能進(jìn)行了對(duì)比實(shí)驗(yàn)；改進(jìn)傳統(tǒng)最大熵模型中的特征函數(shù)定義，實(shí)驗(yàn)結(jié)果表明詞頻特征函數(shù)具有較好的過(guò)濾性能；引入N-gram中性能較好的平滑算法對(duì)最大熵模型進(jìn)行平滑，解決“稀疏”事件問(wèn)題，對(duì)絕對(duì)折扣和高斯先驗(yàn)兩種平滑

4、算法進(jìn)行了對(duì)比；提出了過(guò)濾模型的自適應(yīng)調(diào)整和學(xué)習(xí)算法，以適應(yīng)郵件特征的變化，滿足用戶的個(gè)性化過(guò)濾要求；將最大熵方法與其它常用的垃圾郵件過(guò)濾方法進(jìn)行了性能比較，實(shí)驗(yàn)結(jié)果表明，這種方法在召回率、正確率、Fl值、錯(cuò)誤率等方面表現(xiàn)出了良好的過(guò)濾性能。 最后，將基于最大熵的垃圾郵件過(guò)濾方法與Outlook提供的PIA相結(jié)合，開(kāi)發(fā)出一個(gè)垃圾郵件過(guò)濾插件，在客戶端用最大熵方法實(shí)現(xiàn)了基于內(nèi)容的垃圾郵件過(guò)濾，較好地幫助用戶解決了垃圾郵件泛濫的問(wèn)題