基于內(nèi)容的垃圾郵件檢測(cè)特征降維算法研究.pdf

1、當(dāng)今社會(huì)，電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ藕徒涣鞯闹匾绞街唬抢]件也伴隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展而嚴(yán)重泛濫，帶來(lái)諸多危害?；趦?nèi)容的垃圾郵件檢測(cè)是目前最主流的反垃圾郵件技術(shù)之一，在反垃圾郵件領(lǐng)域得到了廣泛應(yīng)用。
　　 特征降維是基于內(nèi)容的垃圾郵件檢測(cè)中的一項(xiàng)關(guān)鍵技術(shù)。由于通常使用向量空間模型來(lái)表示郵件文本，特征向量空間通常呈現(xiàn)高維特性，引發(fā)“維數(shù)災(zāi)難”。因此，必須對(duì)原始高維特征空間進(jìn)行降維處理。文本特征降維方法一般分為

2、兩類(lèi):特征提取和特征選擇。特征選擇算法因其實(shí)現(xiàn)簡(jiǎn)單，計(jì)算復(fù)雜度小，性能比較好等優(yōu)點(diǎn)，被廣泛應(yīng)用在基于內(nèi)容的垃圾郵件檢測(cè)中。
　　 常用的特征選擇算法如信息增益(IG)，卡方統(tǒng)計(jì)(CHI)等，均基于特征項(xiàng)之間相互獨(dú)立的假設(shè)，只考慮了特征項(xiàng)與目標(biāo)類(lèi)別之間的關(guān)聯(lián)度來(lái)構(gòu)造評(píng)價(jià)函數(shù)，而忽略了實(shí)際情況下，不同特征項(xiàng)之間存在不同程度的關(guān)聯(lián)，使得特征子集中存在了大量的冗余，因而分類(lèi)性能不夠理想。
　　 文本采用互信息量(MI)來(lái)衡量特征

3、項(xiàng)之間的冗余程度，提出了一種新型的特征選擇算法OMFS（OCFS-mRMR Feature Seleetion）。實(shí)驗(yàn)證明，OMFS算法能夠保持很高的計(jì)算效率，有效去除特征子集中的冗余，使垃圾郵件的分類(lèi)性能得到很大的改善。
　　 本文的主要工作和創(chuàng)新點(diǎn)主要有以下幾點(diǎn):
　　 (1)針對(duì)垃圾郵件特征空間冗余問(wèn)題，從文本分類(lèi)領(lǐng)域引入mRMR特征選擇算法并對(duì)其進(jìn)行改進(jìn)，提出了一種新型的特征選擇算法——OMFS。
　　

4、(2)基于matlab平臺(tái)，WEKA Java API和Eclipse開(kāi)發(fā)環(huán)境，通過(guò)程序設(shè)計(jì)，構(gòu)建了基于內(nèi)容的垃圾郵件檢測(cè)仿真實(shí)驗(yàn)系統(tǒng)?；谥杏⑽奈宸N不同的公共垃圾郵件語(yǔ)料庫(kù)和三種分類(lèi)算法，設(shè)計(jì)并實(shí)現(xiàn)了一系列垃圾郵件檢測(cè)分類(lèi)對(duì)比實(shí)驗(yàn)。
　　 (3)采用分類(lèi)精準(zhǔn)度和CPU實(shí)時(shí)運(yùn)算時(shí)間作為評(píng)價(jià)指標(biāo)，并從有效性和計(jì)算效率兩個(gè)方面對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了科學(xué)、詳細(xì)的分析，總結(jié)了實(shí)驗(yàn)規(guī)律，驗(yàn)證了OMFS特征選擇算法能夠有效去除特征項(xiàng)之間的冗余同時(shí)