面向大規(guī)模數(shù)據(jù)的離群點(diǎn)檢測算法研究及應(yīng)用.pdf

1、隨著數(shù)據(jù)的爆炸式增長，數(shù)據(jù)的規(guī)模急劇增加，在如此規(guī)模巨大的數(shù)據(jù)當(dāng)中獲取有價值的信息是當(dāng)前面臨的一大挑戰(zhàn)。由于傳統(tǒng)的離群點(diǎn)檢測技術(shù)多是面向小規(guī)模數(shù)據(jù)的，因此在處理大規(guī)模數(shù)據(jù)情況下其缺點(diǎn)也暴露無遺。本文的研究目的主要是針對大規(guī)模數(shù)據(jù)集的特點(diǎn)，進(jìn)行離群點(diǎn)的檢測方法研究，解決大規(guī)模數(shù)據(jù)所帶來精度和效率上的問題。
　　通過對傳統(tǒng)離群點(diǎn)檢測算法特性及性能的詳細(xì)分析，并對分布式計算相關(guān)技術(shù)深入研究學(xué)習(xí)，從基于多種不同思想的檢測方法中選取基于聚類

2、的檢測方法作為研究點(diǎn)，并結(jié)合分布式計算思想，應(yīng)用于面向大規(guī)模數(shù)據(jù)集的離群點(diǎn)檢測中。
　　首先，具體分析了K中心點(diǎn)聚類算法，針對算法中復(fù)雜的流程進(jìn)行簡化。文中提出一種基于排序的索引矩陣，根據(jù)此索引矩陣縮小中心點(diǎn)的計算區(qū)域，從而達(dá)到降低算法復(fù)雜度的目的。根據(jù)聚類結(jié)果的特點(diǎn)，采用距離的衡量手段提出一種新的離群點(diǎn)檢測算法，并詳細(xì)闡釋了算法的設(shè)計思想和流程步驟。通過真實數(shù)據(jù)集上的實驗驗證了本文提出的算法的有效性。
　　然后，剖析本文提

3、出的離群點(diǎn)檢測算法，對算法的結(jié)構(gòu)特點(diǎn)和執(zhí)行過程的并行化方法進(jìn)行了可行性的分析。結(jié)合 MapReduce并行架構(gòu)的特點(diǎn)，提出將單機(jī)上的離群點(diǎn)檢測算法進(jìn)行 MapReduce并行化的總體思路，根據(jù)并行化原理與算法的流程特性設(shè)計了算法具體并行化的實現(xiàn)步驟。
　　最后，搭建Hadoop分布式集群，并在集群上運(yùn)行改進(jìn)的算法，對其進(jìn)行性能方面的實驗驗證。通過實驗分析，并行化后的算法在效率與穩(wěn)定性上都具有顯著的提高，可見算法的改進(jìn)與并行化設(shè)計是