基于Hadoop云平臺的垃圾郵件過濾研究與實現(xiàn).pdf

1、在信息化時代的今天，電子郵件成為了我們?nèi)粘Ｉ钪凶钪匾慕涣魇侄沃?，與其相伴而來的垃圾郵件也在日益增長。傳統(tǒng)的垃圾郵件過濾技術(shù)，如“黑白名單”、“關(guān)鍵字過濾”等方法在一定程度上實現(xiàn)垃圾郵件的過濾，然而，面對郵件用戶群體的膨脹，郵件數(shù)量急劇增長，郵件種類也日益龐雜，傳統(tǒng)的郵件過濾技術(shù)已經(jīng)捉襟見肘、后繼乏力。
　　 云數(shù)據(jù)挖掘是將數(shù)據(jù)挖掘技術(shù)與新興的云計算技術(shù)相結(jié)合。借助云平臺對大數(shù)據(jù)的高效處理能力實現(xiàn)針對海量數(shù)據(jù)的挖掘，很好的解

2、決了在海量數(shù)據(jù)訓(xùn)練時存在的計算與存儲瓶頸。本文利用云數(shù)據(jù)挖掘技術(shù)實現(xiàn)垃圾郵件的過濾，不但增強(qiáng)了郵件過濾方法的靈活性、高效性，也使得海量的郵件數(shù)據(jù)分類成為可能。對此，本文做了以下工作。
　　 非結(jié)構(gòu)郵件數(shù)據(jù)不能作為挖掘分類的原始訓(xùn)練集，如何在云平臺上將其轉(zhuǎn)換為結(jié)構(gòu)化描述，本文研究了基于HADOOP的文本預(yù)處理。首先，把相對孤立的數(shù)據(jù)集合并成易于云平臺處理的大文件集合;其次，采用MAPREDUCE分布式計算方式實現(xiàn)并行化分詞與特征選

3、擇;最后，通過計算特征詞的權(quán)值，給出了郵件數(shù)據(jù)的形式化描述。
　　 傳統(tǒng)的SVM算法計算模型不適合在HADOOP云平臺上進(jìn)行挖掘訓(xùn)練，因此，本文提出基于MAPREDUCE的SVM改進(jìn)算法。其思想:利用MAPREDUCE方式計算文本向量積，并將其作為中間數(shù)據(jù)實現(xiàn)SVM算法對文本郵件的訓(xùn)練，得到最優(yōu)決策平面，以此提高SVM算法的訓(xùn)練速度，使得對海量文本郵件的挖掘分類成為可能。
　　 設(shè)計并開發(fā)了垃圾郵件過濾原型系統(tǒng)。系統(tǒng)主體