基于Hadoop的孤立點檢測算法研究.pdf

1、孤立點檢測作為一種重要的數(shù)據(jù)挖掘方法，旨在發(fā)現(xiàn)數(shù)據(jù)集中偏離多數(shù)模式的異常情況，在制造業(yè)、金融業(yè)、網(wǎng)絡安全甚至醫(yī)療領域都有著廣泛的應用，一直備受人們關注。近年來，針對不同的應用領域，研究者已經(jīng)提出了許多行之有效的孤立點檢測算法。然而，大數(shù)據(jù)時代的到來，使傳統(tǒng)孤立點檢測算法面臨著效率瓶頸，不適用于大規(guī)模數(shù)據(jù)孤立點檢測任務。MapReduce編程框架的提出，為高效地進行大規(guī)模數(shù)據(jù)處理帶來了希望；Hadoop開源計算平臺的發(fā)布，讓每一個研究者都

2、可以便捷地使用分布式計算這把利劍。
　　本文旨在運用 Hadoop分布式計算平臺，克服傳統(tǒng)孤立點檢測算法在大規(guī)模數(shù)據(jù)處理時所面臨的效率瓶頸，針對混合型數(shù)據(jù)的全局和局部孤立點檢測問題，分別給出了新的算法，并且基于Hadoop平臺進行了并行化實現(xiàn)。本文研究內(nèi)容如下：
　?。?）針對全局孤立點檢測問題。本文依據(jù)鄰域計數(shù)的思想給出混合型數(shù)據(jù)對象間相異性度量方法，并基于最近鄰定義了對象的全局孤立度，進而提出了一個混合型數(shù)據(jù)的全局孤立點

3、檢測算法；并且基于 Hadoop平臺對該算法進行了并行化實現(xiàn)以進一步提高算法執(zhí)行效率。最后，在UCI數(shù)據(jù)集上通過與已有算法比較實驗結果表明，所提算法能有效地檢測出混合型數(shù)據(jù)中的全局孤立點，具有參數(shù)少、檢測精度高的優(yōu)點；算法的并行化提高了混合型大規(guī)模數(shù)據(jù)的孤立點檢測效率。
　?。?）針對局部孤立點檢測問題。本文采用密度的思想定義了對象的局部孤立度，并運用聚類方法對非孤立對象進行預先剪枝，約減數(shù)據(jù)規(guī)模，提出了一個基于密度和聚類的三階段

4、局部孤立點檢測算法；進一步基于 Hadoop平臺對該算法進行了并行化實現(xiàn)。最后，在人工數(shù)據(jù)集和 UCI數(shù)據(jù)集上驗證了該算法的有效性；同時，在大規(guī)模數(shù)據(jù)集上的實驗結果表明該并行化算法具有良好的加速比和擴展性。
　　（3）設計與實現(xiàn)了基于 Hadoop的孤立點檢測平臺。首先，運用 Hadoop平臺構建了分布式計算環(huán)境，使其具備強大的計算能力。其次，采用 B/S架構技術，整合本文提出的兩個并行化孤立點檢測算法，設計與實現(xiàn)了該孤立點檢測平