垃圾郵件過(guò)濾系統(tǒng)的改進(jìn)及樣本庫(kù)生成系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著對(duì)垃圾郵件過(guò)濾的各種技術(shù)和算法的不斷發(fā)展，大部分基于機(jī)器學(xué)習(xí)的文本分類算法在實(shí)際使用中取得了較好的效果，但由于采用了文本分類中的一些算法，大部分算法都要求在應(yīng)用前就需要用已分類好的郵件樣本對(duì)過(guò)濾系統(tǒng)進(jìn)行學(xué)習(xí)、訓(xùn)練，以達(dá)到過(guò)濾系統(tǒng)性能最優(yōu)化。郵件樣本特別是正常郵件樣本集的缺乏成為阻礙過(guò)濾技術(shù)發(fā)展的一個(gè)重要問(wèn)題。同樣為了比較各種過(guò)濾算法的性能，需要在同一個(gè)基準(zhǔn)上的實(shí)驗(yàn)結(jié)果才有可比性。缺乏郵件樣本集的基準(zhǔn)使得評(píng)價(jià)各種過(guò)濾系統(tǒng)的性能變得很難

2、實(shí)現(xiàn)。為此，本學(xué)位論文對(duì)樣本集構(gòu)建過(guò)程中的關(guān)鍵技術(shù)進(jìn)行了研究，并以CERNET華東(北)地區(qū)網(wǎng)絡(luò)中心的郵件服務(wù)器為實(shí)驗(yàn)環(huán)境，設(shè)計(jì)和實(shí)現(xiàn)了一樣本庫(kù)生成系統(tǒng)。在此基礎(chǔ)上，根據(jù)構(gòu)建樣本庫(kù)過(guò)程中對(duì)收集的垃圾郵件特征的研究，在不改變?cè)芯C合郵件過(guò)濾系統(tǒng)框架的前提下使用BNR算法對(duì)網(wǎng)絡(luò)中心現(xiàn)有的郵件過(guò)濾系統(tǒng)進(jìn)行了相應(yīng)的改進(jìn)，以提高系統(tǒng)的過(guò)濾性能。 論文在研究目前郵件樣本集現(xiàn)狀的基礎(chǔ)上，根據(jù)郵件過(guò)濾算法的需求，設(shè)計(jì)了構(gòu)建一個(gè)基于真實(shí)郵件環(huán)境，

3、能夠生成包含標(biāo)準(zhǔn)郵件分類的中英文郵件樣本集生成系統(tǒng)。 首先，論文從技術(shù)和非技術(shù)兩個(gè)方面提出了構(gòu)建樣本集中存在的問(wèn)題，并通過(guò)對(duì)現(xiàn)有構(gòu)造樣本集的方法的研究分析得出目前過(guò)濾系統(tǒng)所需的是能夠模擬真實(shí)郵件環(huán)境的包含標(biāo)準(zhǔn)分類的郵件樣本集。在此基礎(chǔ)上，根據(jù)實(shí)際郵件收集環(huán)境特點(diǎn)，論文著重研究了構(gòu)建樣本庫(kù)生成系統(tǒng)的關(guān)鍵技術(shù)，主要包括用戶評(píng)判郵件技術(shù)、用戶評(píng)分和正常郵件隱私保護(hù)等方面，提出采用識(shí)別重復(fù)郵件、模糊綜合評(píng)判、多層信息抽取替換并加密存儲(chǔ)等

4、方法并具體實(shí)現(xiàn)。 其次，論文在對(duì)關(guān)鍵問(wèn)題研究的基礎(chǔ)上，給出了樣本庫(kù)生成系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)，以及各個(gè)子系統(tǒng)的實(shí)現(xiàn)機(jī)制和功能結(jié)構(gòu)，實(shí)現(xiàn)了一個(gè)可基于真實(shí)郵件環(huán)境，結(jié)合用戶人工評(píng)判的生成標(biāo)準(zhǔn)郵件樣本集的生成系統(tǒng)，并將該系統(tǒng)在CERNET華東(北)地區(qū)網(wǎng)絡(luò)中心的郵件服務(wù)器環(huán)境下投入使用。并且從系統(tǒng)生成的樣本集各項(xiàng)數(shù)據(jù)對(duì)系統(tǒng)的性能進(jìn)行了實(shí)驗(yàn)和分析，結(jié)果表明，該系統(tǒng)生成的郵件樣本集滿足了郵件來(lái)自真實(shí)環(huán)境且郵件樣本標(biāo)準(zhǔn)分類的需求，驗(yàn)證了系統(tǒng)的有