基于內(nèi)容的垃圾郵件過(guò)濾方法研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)與通訊技術(shù)的發(fā)展與廣泛應(yīng)用，電子郵件已經(jīng)成為必不可少的通訊方式。但是，電子郵件帶來(lái)的垃圾郵件問(wèn)題日益嚴(yán)重，給人們的生活帶來(lái)了諸多不便，同時(shí)也給網(wǎng)絡(luò)安全帶來(lái)了極壞的影響。因此，解決好此類問(wèn)題具有十分重要的現(xiàn)實(shí)意義。目前，反垃圾郵件工具逐漸傾向于引入基于內(nèi)容的機(jī)器學(xué)習(xí)判別方法。然而，在訓(xùn)練過(guò)濾器時(shí)，會(huì)遇到未帶類別標(biāo)注的樣本，如果采用傳統(tǒng)的機(jī)器學(xué)習(xí)方法會(huì)造成過(guò)濾器性能下降。為此，本文研究利用這些未帶類別標(biāo)注樣本，進(jìn)行垃圾郵件過(guò)濾

2、器訓(xùn)練。具體所做的工作和創(chuàng)新點(diǎn)如下： (1)研究針對(duì)郵件內(nèi)容的理想特征選擇方法。郵件中過(guò)高維數(shù)的文本內(nèi)容會(huì)影響最后的過(guò)濾效果。因此，引入特征選擇是很有必要的。為此，本文利用實(shí)驗(yàn)驗(yàn)證的方法，分別就文本分類中常見(jiàn)的幾種特征選擇方法對(duì)垃圾郵件樣本進(jìn)行了測(cè)試。結(jié)果表明，期望交叉熵方法和X2統(tǒng)計(jì)量方法對(duì)郵件分類最為有效，互信息和信息增益方法效果相比之下顯得遜色； (2)針對(duì)由于含有未帶類別標(biāo)記樣本，導(dǎo)致訓(xùn)練樣本質(zhì)量低劣的情況，提出

3、一種主動(dòng)貝葉斯分類方法RANB(Naive Bayes Classifier Relying on ActiveLearning)，用以標(biāo)注這些訓(xùn)練樣本類別標(biāo)記，提高訓(xùn)練樣本質(zhì)量。此方法根據(jù)條件熵衡量未帶類別標(biāo)記樣本好壞，選擇出一定數(shù)量好的樣本，并融入減少分類誤差機(jī)制。同時(shí)，利用樸素貝葉斯方法簡(jiǎn)單易行且分類效果比較好的特點(diǎn)構(gòu)造分類器以標(biāo)注未帶類別標(biāo)記樣本類別。實(shí)驗(yàn)表明，此算法是可行的，尤其在未知類別標(biāo)注樣本較多時(shí)是十分有效的，比其他幾種