基于內容的垃圾郵件過濾系統(tǒng)研究.pdf

1、隨著電子郵件的普及，垃圾郵件問題日益凸顯，其數(shù)量急劇增長，內容千變萬化，具有破壞性強，傳播速度快，危害范圍廣等特點，已經成為全球化公害。如何有效地過濾和治理這些垃圾郵件成為當前的迫切要求?，F(xiàn)有的垃圾郵件過濾技術主要包括基于規(guī)則的過濾和基于內容的過濾兩大類?；谝?guī)則的過濾方法加入的主觀因素較多，抗干擾能力較弱，規(guī)則制定的好壞將直接影響郵件的過濾效果?；趦热莸倪^濾作為當前垃圾郵件處理所采用的一種主要技術手段可以通過文本分類的相關算法針對郵

2、件內容自動尋找規(guī)律，本文主要針對基于內容的過濾方法進行相關研究。
　　 本文從郵件的預處理、特征選擇、權重計算和分類器的設計等方面對如何改善垃圾郵件的過濾性能進行了探索，并對現(xiàn)有的算法在垃圾郵件過濾中存在的問題進行了分析。針對基于內容的垃圾郵件過濾算法存在的“維數(shù)災難”等問題，預處理中加入詞頻和文檔頻度過濾，采取雙重特征選擇算法，有效的降低了冗余信息和噪聲數(shù)據(jù)對分類性能的影響。
　　 針對垃圾郵件與正常郵件在語義表述上存

3、在的差異性，本文提出一種基于類別信息的LDA特征選擇及加權算法Categories-LDA，在不同類型的郵件集中建立各自的生成模型，分別搜尋構成各個主題的特征信息。該算法不但利用了LDA 模型基于隱含主題建模的優(yōu)點，而且還有效的克服了由于忽略類別主題差異性所造成的系統(tǒng)過濾性能下降的影響。
　　 本文將反饋學習與隨機森林算法相結合，繼承了決策樹集成與反饋學習的優(yōu)勢，針對垃圾郵件種類實時變化的特點和客戶群對郵件判別的差異性，實現(xiàn)郵件