基于Hadoop的孤立點(diǎn)檢測(cè)算法研究.pdf

1、孤立點(diǎn)檢測(cè)作為一種重要的數(shù)據(jù)挖掘方法，旨在發(fā)現(xiàn)數(shù)據(jù)集中偏離多數(shù)模式的異常情況，在制造業(yè)、金融業(yè)、網(wǎng)絡(luò)安全甚至醫(yī)療領(lǐng)域都有著廣泛的應(yīng)用，一直備受人們關(guān)注。近年來，針對(duì)不同的應(yīng)用領(lǐng)域，研究者已經(jīng)提出了許多行之有效的孤立點(diǎn)檢測(cè)算法。然而，大數(shù)據(jù)時(shí)代的到來，使傳統(tǒng)孤立點(diǎn)檢測(cè)算法面臨著效率瓶頸，不適用于大規(guī)模數(shù)據(jù)孤立點(diǎn)檢測(cè)任務(wù)。MapReduce編程框架的提出，為高效地進(jìn)行大規(guī)模數(shù)據(jù)處理帶來了希望；Hadoop開源計(jì)算平臺(tái)的發(fā)布，讓每一個(gè)研究者都

2、可以便捷地使用分布式計(jì)算這把利劍。
　　本文旨在運(yùn)用 Hadoop分布式計(jì)算平臺(tái)，克服傳統(tǒng)孤立點(diǎn)檢測(cè)算法在大規(guī)模數(shù)據(jù)處理時(shí)所面臨的效率瓶頸，針對(duì)混合型數(shù)據(jù)的全局和局部孤立點(diǎn)檢測(cè)問題，分別給出了新的算法，并且基于Hadoop平臺(tái)進(jìn)行了并行化實(shí)現(xiàn)。本文研究?jī)?nèi)容如下：
　?。?）針對(duì)全局孤立點(diǎn)檢測(cè)問題。本文依據(jù)鄰域計(jì)數(shù)的思想給出混合型數(shù)據(jù)對(duì)象間相異性度量方法，并基于最近鄰定義了對(duì)象的全局孤立度，進(jìn)而提出了一個(gè)混合型數(shù)據(jù)的全局孤立點(diǎn)

3、檢測(cè)算法；并且基于 Hadoop平臺(tái)對(duì)該算法進(jìn)行了并行化實(shí)現(xiàn)以進(jìn)一步提高算法執(zhí)行效率。最后，在UCI數(shù)據(jù)集上通過與已有算法比較實(shí)驗(yàn)結(jié)果表明，所提算法能有效地檢測(cè)出混合型數(shù)據(jù)中的全局孤立點(diǎn)，具有參數(shù)少、檢測(cè)精度高的優(yōu)點(diǎn)；算法的并行化提高了混合型大規(guī)模數(shù)據(jù)的孤立點(diǎn)檢測(cè)效率。
　?。?）針對(duì)局部孤立點(diǎn)檢測(cè)問題。本文采用密度的思想定義了對(duì)象的局部孤立度，并運(yùn)用聚類方法對(duì)非孤立對(duì)象進(jìn)行預(yù)先剪枝，約減數(shù)據(jù)規(guī)模，提出了一個(gè)基于密度和聚類的三階段

4、局部孤立點(diǎn)檢測(cè)算法；進(jìn)一步基于 Hadoop平臺(tái)對(duì)該算法進(jìn)行了并行化實(shí)現(xiàn)。最后，在人工數(shù)據(jù)集和 UCI數(shù)據(jù)集上驗(yàn)證了該算法的有效性；同時(shí)，在大規(guī)模數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明該并行化算法具有良好的加速比和擴(kuò)展性。
　?。?）設(shè)計(jì)與實(shí)現(xiàn)了基于 Hadoop的孤立點(diǎn)檢測(cè)平臺(tái)。首先，運(yùn)用 Hadoop平臺(tái)構(gòu)建了分布式計(jì)算環(huán)境，使其具備強(qiáng)大的計(jì)算能力。其次，采用 B/S架構(gòu)技術(shù)，整合本文提出的兩個(gè)并行化孤立點(diǎn)檢測(cè)算法，設(shè)計(jì)與實(shí)現(xiàn)了該孤立點(diǎn)檢測(cè)平