基于貝葉斯的中文垃圾郵件過(guò)濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ?、交流的重要手段之一，但垃圾郵件問(wèn)題也日益嚴(yán)峻。中國(guó)反垃圾郵件起步較晚，垃圾郵件在國(guó)內(nèi)的情況十分嚴(yán)重，中國(guó)如今成為了世界垃圾郵件來(lái)源的第二大國(guó)，反垃圾郵件迫在眉睫。常用的反垃圾郵件技術(shù)一般包括白名單與黑名單技術(shù)、規(guī)則過(guò)濾、基于關(guān)鍵詞匹配的內(nèi)容掃描、文本分類(lèi)技術(shù)等，其中文本分類(lèi)技術(shù)得到了最為廣泛的應(yīng)用。垃圾郵件過(guò)濾中常用的文本分類(lèi)方法有貝葉斯、k-近鄰、決策樹(shù)、boosting等，其中貝葉斯分類(lèi)算法由于其

2、設(shè)計(jì)實(shí)現(xiàn)簡(jiǎn)單、準(zhǔn)確率高得到了更廣泛的應(yīng)用。 在將貝葉斯分類(lèi)算法應(yīng)用于中文郵件時(shí)，以下幾個(gè)問(wèn)題影響著系統(tǒng)的性能：由于中文與英文在書(shū)寫(xiě)方式、表達(dá)方式上有著明顯的不同。在書(shū)寫(xiě)方式上，英文詞與詞之間用空格或是標(biāo)點(diǎn)符號(hào)相隔，而中文字與字之間無(wú)明顯的分隔符。所以首先要進(jìn)行中文分詞的操作，并且分詞的效果能夠顯著的影響到分類(lèi)的效果。在表達(dá)方式上，中英文也不相同，需要針對(duì)中文郵件進(jìn)行特征選擇操作。同時(shí)出現(xiàn)了大量利用中文的特點(diǎn)，特殊構(gòu)造的含有“不良

3、信息”的垃圾郵件，該類(lèi)郵件的“不良信息”具有易理解、難識(shí)別的特點(diǎn)。 本文提出了一種基于貝葉斯的中文垃圾郵件過(guò)濾系統(tǒng)，它將貝葉斯算法應(yīng)用與中文郵件的過(guò)濾。為了提高系統(tǒng)的性能，本文研究了中文郵件過(guò)濾需要的各種技術(shù)，包括中文分詞、特征選擇、不良信息識(shí)別等。通過(guò)分析各種中文分詞算法、中文分詞詞典機(jī)制的優(yōu)缺點(diǎn)，本文設(shè)計(jì)出了一種改進(jìn)的數(shù)據(jù)詞典，系統(tǒng)將基于該數(shù)據(jù)字典的改進(jìn)的字符串匹配分詞算法與未登錄詞識(shí)別算法相結(jié)合，提高了分詞的效率和準(zhǔn)確性。