基于距離的離群點(diǎn)檢測(cè)算法分析與研究.pdf

1、基于距離的離群點(diǎn)檢測(cè)算法分析與研究重慶大學(xué)碩士學(xué)位論文學(xué)生姓名：王震指導(dǎo)老師：朱慶生教授專(zhuān)業(yè)：計(jì)算機(jī)軟件與理論學(xué)科門(mén)類(lèi)：工學(xué)重慶大學(xué)計(jì)算機(jī)學(xué)院二O一一年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要離群點(diǎn)檢測(cè)作為數(shù)據(jù)挖掘領(lǐng)域研究的重要組成部分，致力于發(fā)掘龐大信息集合中所占比例極小的一部分特殊數(shù)據(jù)。這小部分特殊數(shù)據(jù)由于具有明顯的不同于其他數(shù)據(jù)的離群特征，往往蘊(yùn)含著真實(shí)卻又出乎意料的現(xiàn)實(shí)意義或知識(shí)價(jià)值。因此，離群點(diǎn)檢測(cè)被廣泛的應(yīng)用于入侵檢測(cè)、信用欺

2、詐、故障診斷等領(lǐng)域。為了更好的檢測(cè)到信息集合中的離群信息，研究人員設(shè)計(jì)開(kāi)發(fā)了許多不同的離群點(diǎn)檢測(cè)算法，其中基于距離的離群點(diǎn)檢測(cè)算法可以靈活的制定距離函數(shù)、有效的獲得離群點(diǎn)信息，具有重大的理論意義與實(shí)用價(jià)值。然而目前的研究在實(shí)際應(yīng)用過(guò)程中還存在著一些不足，如初始參數(shù)的選取需要通過(guò)經(jīng)驗(yàn)獲取，算法在高維、大數(shù)據(jù)集上的運(yùn)行效率等。本文針對(duì)現(xiàn)有的基于距離的離群點(diǎn)檢測(cè)算法的不足，圍繞無(wú)監(jiān)督初始參數(shù)的獲取與提高算法的運(yùn)行效率等關(guān)鍵問(wèn)題進(jìn)行了研究與實(shí)驗(yàn)

3、，提出了基于粗粒度單元的離群點(diǎn)檢測(cè)算法，通過(guò)使用粗粒度單元對(duì)數(shù)據(jù)集進(jìn)行剪枝，從而提升基于距離的離群點(diǎn)檢測(cè)的效率；同時(shí)結(jié)合KNN算法思想給出了一種距離參數(shù)的參考值的獲得算法，從而簡(jiǎn)化了獲得有效利群信息的收斂過(guò)程。主要研究成果包括：①研究了數(shù)據(jù)挖掘的現(xiàn)狀與過(guò)程、離群點(diǎn)檢測(cè)的意義，全面分析了現(xiàn)有的離群點(diǎn)檢測(cè)算法，對(duì)比了常用的離群點(diǎn)檢測(cè)算法的優(yōu)缺點(diǎn)、適用范圍。②介紹了數(shù)據(jù)預(yù)處理技術(shù)，重點(diǎn)對(duì)數(shù)據(jù)清理、數(shù)據(jù)集成與變換、數(shù)據(jù)規(guī)約的方法進(jìn)行了分析；同時(shí)

4、對(duì)降維技術(shù)進(jìn)行了概述，從特征選擇與特征變換兩個(gè)方面介紹了現(xiàn)有的理論和方法。③在經(jīng)典的基于單元的離群點(diǎn)檢測(cè)算法基礎(chǔ)上，提出了一種改進(jìn)的基于粗粒度單元的離群點(diǎn)挖掘算法，通過(guò)擴(kuò)大單元粒度來(lái)減少算法的時(shí)間與空間復(fù)雜度，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其優(yōu)于原算法。④結(jié)合KNN算法思想，提出了一種應(yīng)用于基于距離的離群點(diǎn)檢測(cè)的距離參數(shù)參考值的選取算法，通過(guò)計(jì)算獲得較為合理的距離參數(shù)初始值，從而降低離群點(diǎn)檢測(cè)過(guò)程中的人工監(jiān)督程度以及知識(shí)發(fā)現(xiàn)的收斂過(guò)程。論文的實(shí)驗(yàn)使用