基于Hadoop云平臺(tái)的垃圾郵件過濾研究與實(shí)現(xiàn).pdf

1、在信息化時(shí)代的今天，電子郵件成為了我們?nèi)粘Ｉ钪凶钪匾慕涣魇侄沃?，與其相伴而來的垃圾郵件也在日益增長(zhǎng)。傳統(tǒng)的垃圾郵件過濾技術(shù)，如“黑白名單”、“關(guān)鍵字過濾”等方法在一定程度上實(shí)現(xiàn)垃圾郵件的過濾，然而，面對(duì)郵件用戶群體的膨脹，郵件數(shù)量急劇增長(zhǎng)，郵件種類也日益龐雜，傳統(tǒng)的郵件過濾技術(shù)已經(jīng)捉襟見肘、后繼乏力。
　　 云數(shù)據(jù)挖掘是將數(shù)據(jù)挖掘技術(shù)與新興的云計(jì)算技術(shù)相結(jié)合。借助云平臺(tái)對(duì)大數(shù)據(jù)的高效處理能力實(shí)現(xiàn)針對(duì)海量數(shù)據(jù)的挖掘，很好的解

2、決了在海量數(shù)據(jù)訓(xùn)練時(shí)存在的計(jì)算與存儲(chǔ)瓶頸。本文利用云數(shù)據(jù)挖掘技術(shù)實(shí)現(xiàn)垃圾郵件的過濾，不但增強(qiáng)了郵件過濾方法的靈活性、高效性，也使得海量的郵件數(shù)據(jù)分類成為可能。對(duì)此，本文做了以下工作。
　　 非結(jié)構(gòu)郵件數(shù)據(jù)不能作為挖掘分類的原始訓(xùn)練集，如何在云平臺(tái)上將其轉(zhuǎn)換為結(jié)構(gòu)化描述，本文研究了基于HADOOP的文本預(yù)處理。首先，把相對(duì)孤立的數(shù)據(jù)集合并成易于云平臺(tái)處理的大文件集合;其次，采用MAPREDUCE分布式計(jì)算方式實(shí)現(xiàn)并行化分詞與特征選

3、擇;最后，通過計(jì)算特征詞的權(quán)值，給出了郵件數(shù)據(jù)的形式化描述。
　　 傳統(tǒng)的SVM算法計(jì)算模型不適合在HADOOP云平臺(tái)上進(jìn)行挖掘訓(xùn)練，因此，本文提出基于MAPREDUCE的SVM改進(jìn)算法。其思想:利用MAPREDUCE方式計(jì)算文本向量積，并將其作為中間數(shù)據(jù)實(shí)現(xiàn)SVM算法對(duì)文本郵件的訓(xùn)練，得到最優(yōu)決策平面，以此提高SVM算法的訓(xùn)練速度，使得對(duì)海量文本郵件的挖掘分類成為可能。
　　 設(shè)計(jì)并開發(fā)了垃圾郵件過濾原型系統(tǒng)。系統(tǒng)主體