基于Hadoop大數(shù)據(jù)平臺資源及用戶行為檢測技術的研究.pdf

1、當今社會，IT行業(yè)正在不斷地發(fā)展，云計算成為了大家越來越熟悉的名詞。云計算作為一種新鮮事物代表了當今IT業(yè)正向著規(guī)?；?、集約化和更加專業(yè)化的方向發(fā)展，是現(xiàn)在IT業(yè)正在經(jīng)歷的一種變革。云計算一方面提供了更加高效的使用效率，提高了對各種資源的利用率，另一方面也對用戶信息的安全和隱私帶來了極大的挑戰(zhàn)和威脅。Hadoop作為一種開源性質為基礎的云計算平臺，目前越來越受到大家的關注，成為很多公司使用的云計算工具。但是其安全措施并沒有明顯的改善，所

2、面臨的安全問題依然存在。所以，這些問題已經(jīng)成為了Hadoop快速發(fā)展的一個巨大的障礙。因此，需要對Hadoop平臺的安全做一個充分的檢測，提高它的安全指數(shù)，最終提高在用戶心目中的地位，推動它的快速發(fā)展。
　　本文首先通過分析、研究Hadoop在安全方面上出現(xiàn)的漏洞和問題，針對集群數(shù)據(jù)安全和資源安全方面的不同特征，基于先前的研究，設計出一種檢測資源消耗異常和一種監(jiān)測用戶訪問數(shù)據(jù)行為異常的方法，幫助人們實現(xiàn)對Hadoop的安全檢測，最

3、終解決在安全上出現(xiàn)的問題，提高平臺整體的安全度。因此，本文的主要任務分為以下幾個方面:
　　首先，根據(jù)Hadoop平臺的分布式存儲和分布式計算的資源消耗特點，提出一種基于KNN的資源消耗異常檢測方法。這種方法可以及時地發(fā)現(xiàn)平臺資源消耗的異常情況。與其他異常檢測所使用的方法相比，本方法不僅可以發(fā)現(xiàn)突發(fā)的資源消耗異常，還可以發(fā)現(xiàn)緩慢變化所產(chǎn)生的資源消耗異常，使得檢測更加準確。
　　其次，通過對用戶訪問Hadoop平臺的日志中的數(shù)

4、據(jù)記錄進行處理，設計出一種基于隱馬爾科夫模型的針對用戶行為異常的檢測方法。這種檢測技術與其他檢測方法不同之處在于針對單個個體用戶的數(shù)據(jù)檢測，而不是關聯(lián)分析的檢測。這樣就可以幫助我們避免在檢測時出現(xiàn)數(shù)據(jù)過度復雜而導致檢測不準確的問題，從而及時地對用戶的異常行為進行檢測。
　　通過本文的研究與分析，不僅可以提高用戶的安全系數(shù)，使平臺的安全得到進一步保障，同時整個Hadoop集群的資源及用戶行為的檢測能力也取得一定的進步，為達成Hado