基于加權(quán)自然鄰域?qū)傩院挽氐碾x群檢測(cè)研究.pdf

1、離群檢測(cè)是幫助人們?cè)诜倍鄰?fù)雜的信息中準(zhǔn)確而快速地獲取具有顯著異常特征信息的數(shù)據(jù)挖掘方法。其在互聯(lián)網(wǎng)、通信、金融、醫(yī)學(xué)、地質(zhì)學(xué)、天文學(xué)等領(lǐng)域得到了廣泛的應(yīng)用，如入侵檢測(cè)、信用欺詐、心電圖監(jiān)測(cè)、地震預(yù)測(cè)、新星體的發(fā)現(xiàn)等。隨著數(shù)字信息時(shí)代的到來，世界上的各種事物都開始轉(zhuǎn)向以數(shù)字為載體的存儲(chǔ)和傳輸，增加了人們應(yīng)用、處理各種復(fù)雜數(shù)據(jù)集的幾率。數(shù)據(jù)的數(shù)量和維度級(jí)別的不斷增加，對(duì)現(xiàn)有離群點(diǎn)檢測(cè)算法的準(zhǔn)確率和高效性發(fā)出了挑戰(zhàn)。
　　本文在以上背景

2、下對(duì)國內(nèi)外關(guān)于離群挖掘的研究現(xiàn)狀和研究成果進(jìn)行了總結(jié)分析，對(duì)離群數(shù)據(jù)挖掘的相關(guān)應(yīng)用和預(yù)處理等工作進(jìn)行了介紹，并概述了傳統(tǒng)的離群檢測(cè)算法以及近幾年流行的新穎離群檢測(cè)算法的工作原理和它們各自的優(yōu)缺點(diǎn)?；谝陨希紤]到離群點(diǎn)在本質(zhì)上是一種小概率事件的思想，并且目前離群點(diǎn)檢測(cè)技術(shù)的發(fā)展趨勢(shì)逐漸接近對(duì)離群點(diǎn)本質(zhì)的思考和探索，本文采用了通過計(jì)算數(shù)據(jù)集中數(shù)據(jù)點(diǎn)的分布概率來衡量數(shù)據(jù)集不規(guī)則程度的基于信息熵的離群挖掘方法，并展開了研究。
　　在綜合

3、分析了近幾年來關(guān)于信息熵的離群檢測(cè)算法的發(fā)展歷程和研究成果、以及基于信息熵離群檢測(cè)算法可改進(jìn)之處的情況下，本文選取了在計(jì)算復(fù)雜度、檢測(cè)率、以及數(shù)據(jù)集通用性上具有綜合優(yōu)勢(shì)的EOF(EntropyOutlierFactor)算法作為研究基礎(chǔ)。并通過改進(jìn)算法對(duì)離群點(diǎn)的輸出處理流程，得出了能夠在局部上優(yōu)化EOF算法檢測(cè)結(jié)果的NCEOF算法。隨后，為了提高算法對(duì)于不同數(shù)量、維度、復(fù)雜程度數(shù)據(jù)集的檢測(cè)高效性和通用性，本文類比EOF計(jì)算離散屬性信息熵

4、增的思想，引入了自然最近鄰概念，以用于計(jì)算連續(xù)屬性的局部信息熵偏離度，并結(jié)合連續(xù)屬性的整體和局部權(quán)重度量，提出了基于加權(quán)自然鄰域?qū)傩院挽氐碾x群檢測(cè)算法HLEAWOF。
　　本文最后在UCI數(shù)據(jù)集WisconsinBreastCancer、以及KDD-Cup99部分?jǐn)?shù)據(jù)上對(duì)改進(jìn)后的算法展開了實(shí)驗(yàn)，并在相同環(huán)境下與原EOF算法進(jìn)行比較，驗(yàn)證了算法的通用性以及改進(jìn)有效性。并分析了算法的改進(jìn)優(yōu)勢(shì)和仍然具有的不足之處。
　　最后，本文