基于Hadoop的郵件敏感詞檢測與告警技術(shù)研究.pdf

1、隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)開始呈現(xiàn)爆炸式的增長，越來越多的互聯(lián)網(wǎng)用戶被淹沒在數(shù)據(jù)的海洋中。因此，如何從海量郵件中快速檢測到含有敏感信息的郵件已經(jīng)成為目前亟待解決的問題。郵件敏感詞的檢測與告警是指通過制定敏感詞詞庫，將郵件的內(nèi)容信息與敏感詞詞庫進行匹配，從而找出含有敏感信息的非法郵件，并對其進行告警。但是，傳統(tǒng)的郵件敏感詞檢測與告警技術(shù)在具體應(yīng)用中一般都忽略了對附件文本的檢測，檢測算法也不適合處理超大規(guī)模的數(shù)據(jù)量，并且其告警規(guī)則也簡單粗略

2、、非法郵件的抓取率低，因此存在很多弊端。
　　本文結(jié)合某公司信息安全審計系統(tǒng)實際項目，研究了郵件敏感詞檢測與告警的相關(guān)技術(shù)。本文從研究背景、研究意義和研究現(xiàn)狀入手，分析了敏感詞檢測與告警的相關(guān)技術(shù)及其現(xiàn)狀，總結(jié)了現(xiàn)有檢測算法與告警技術(shù)的不足。在此基礎(chǔ)上，研究了基于中文分詞的敏感詞檢測算法與基于決策樹制定規(guī)則的告警技術(shù)，從而在一定程度上緩解了郵件敏感詞檢測所面臨的主要挑戰(zhàn)。最后，基于MapReduce、Hive、HBase、R等工具

3、，本文在Hadoop平臺上實現(xiàn)了這些算法，并初步構(gòu)建了一個基于敏感詞檢測與告警技術(shù)的郵件安全監(jiān)測原型系統(tǒng)?？偨Y(jié)起來，本文的主要工作內(nèi)容包含了以下幾個方面：
　　1)針對郵件附件數(shù)據(jù)量龐大而不被檢測的問題，研究了當(dāng)前主流的中文分詞方法，將數(shù)據(jù)量龐大的附件內(nèi)容劃分成詞語，再讓這些詞語進行敏感詞匹配，從而降低了對郵件進行敏感詞匹配的算法復(fù)雜度。
　　2)針對傳統(tǒng)告警規(guī)則簡單粗略、非法郵件抓取率低的問題，采用當(dāng)前主流的決策樹算法制定

4、規(guī)則，并制定了白名單、黑名單及人工檢查的校驗制度，從而更科學(xué)有效地制定出告警的規(guī)則。
　　3)針對傳統(tǒng)敏感詞檢測的大數(shù)據(jù)處理以及算法的可擴展性問題，本文將敏感詞檢測算法部署到了Hadoop集群上，讓算法并行化處理，進一步提高系統(tǒng)的可擴展性。將郵件內(nèi)容信息放在HBase中，可以解決大規(guī)模數(shù)據(jù)量的存儲問題。將敏感詞檢測結(jié)果放在Hive中，可以高效地對大規(guī)模數(shù)據(jù)進行分析。
　　4)在MapReduce、HDFS、HBase、Hiv