基于機器學習理論的垃圾郵件過濾系統(tǒng)的研究與改進.pdf

1、分類問題是機器學習與數(shù)據(jù)挖掘研究中最重要的問題之一,其中文本自動分類是信息檢索與數(shù)據(jù)挖掘領域的研究熱點與核心技術(shù),近年來得到了廣泛的研究和快速的發(fā)展。論文介紹了垃圾郵件的危害性以及常見的過濾技術(shù),分析了現(xiàn)有的垃圾郵件過濾技術(shù)與普通的文本分類問題之間存在的異同。同時還分析了當前這些垃圾郵件過濾技術(shù)的優(yōu)點與不足,并針對這些原因提出了一些解決的辦法。論文提出一種基于靜態(tài)過濾和集成機器學習的郵件過濾系統(tǒng)的設計方案,最后通過實驗驗證了方案的有效性

2、。論文的主要內(nèi)容有:
　　(1)分析和總結(jié)了目前基于內(nèi)容的垃圾郵件過濾技術(shù)的現(xiàn)狀,從文本表示、特征選擇、分類算法、評價體系等方面分析和總結(jié)了文本分類中不同方法之間的技術(shù)特點、發(fā)展趨勢和可改進的地方。
　　(2)特征過多會使訓練集噪音過大,規(guī)則學習難度增大,時間耗費過多,尤其是規(guī)則學習精度降低。但目前有關特征的主要研究集中在特征提取上,而有關特征約簡的研究較少。論文提出了一種基于粗糙集理論的特征約簡算法。該算法以特征提取時計算

3、得到的特征交叉熵為啟發(fā)信息,將特征與粗糙集中的屬性聯(lián)系起來,采用粗糙集屬性約簡算法降低了特征維數(shù),提高郵件處理效率。
　　(3)設計了一個基于靜態(tài)過濾和集成機器學習的郵件過濾系統(tǒng)。在靜態(tài)過濾和粗糙集特征約簡的基礎上,通過規(guī)則庫或者樸素貝葉斯和支持向量機兩種方法的集成學習來判定郵件類別,并且不斷更新系統(tǒng)的規(guī)則庫,同時根據(jù)兩種方法各自的判定結(jié)果來調(diào)整它們在合成公式中的權(quán)重。最終無論規(guī)則庫還是合成公式都更加有針對性和實用性。
　　

4、(4)在Windows操作系統(tǒng)下用Visual Studio.Net2005開發(fā)環(huán)境實現(xiàn)了本文提出的基于靜態(tài)過濾與機器學習的垃圾郵件過濾系統(tǒng),并且給出了過濾系統(tǒng)功能模塊的具體設計。通過KeyLib和CDSCE June2005兩份郵件語料庫對系統(tǒng)進行詳細的效果測試,并從查全率、準確率、精確率和F值多個指標證實了該系統(tǒng)的高效性及實用性。
　　本文的主要創(chuàng)新有以下幾點:
　　(1)將粗糙集理論與特征提取相結(jié)合,提出了一種基于粗糙

5、集屬性約簡的特征提取算法。該算法以特征交叉熵為啟發(fā)信息,能夠有效的約簡大量的冗余特征,提高選取特征的代表性,降低特征維數(shù),減少郵件判定時間,并且提高郵件過濾準確性。
　　(2)提出了基于樸素貝葉斯和SVM方法的集成學習算法。同一封郵件兩種方法分別學習,結(jié)果通過合成公式合成。初始系數(shù)均為0.5,通過大量語料庫的學習不斷調(diào)整兩種方法的結(jié)果合成權(quán)重,最終達到針對該用戶最合適的系數(shù)權(quán)重。
　　(3)規(guī)則庫會隨著郵件的變化而相應調(diào)整。