基于密度的局部離群點(diǎn)檢測(cè)算法分析與研究.pdf

1、近年來，隨著計(jì)算機(jī)技術(shù)及數(shù)據(jù)庫技術(shù)的飛速發(fā)展，數(shù)據(jù)挖掘技術(shù)得到了快速發(fā)展并廣泛地應(yīng)用于各個(gè)領(lǐng)域中。數(shù)據(jù)挖掘，即從有噪聲的、大量的數(shù)據(jù)中，提取出人們事先未知卻又有潛在價(jià)值的知識(shí)；離群點(diǎn)挖掘作為數(shù)據(jù)挖掘領(lǐng)域中的一個(gè)重要而活躍分支，它用于從數(shù)據(jù)集中找出明顯偏離其他數(shù)據(jù)對(duì)象、或不滿足一般對(duì)象行為特征的對(duì)象。目前，離群數(shù)據(jù)挖掘廣泛地應(yīng)用于諸多領(lǐng)域，如電信話費(fèi)欺詐分析、信用卡欺詐檢測(cè)、網(wǎng)絡(luò)攻擊行為檢測(cè)及極端天氣氣象預(yù)報(bào)等。
　　 離群點(diǎn)挖掘

2、技術(shù)最早運(yùn)用于數(shù)據(jù)統(tǒng)計(jì)分析領(lǐng)域，利用統(tǒng)計(jì)分布等相關(guān)知識(shí)檢測(cè)離群點(diǎn)，形成了早期的基于統(tǒng)計(jì)分布的離群點(diǎn)挖掘技術(shù)；而后，諸多專家學(xué)者提出了多種經(jīng)典的離群點(diǎn)檢測(cè)方法，有基于偏差的檢測(cè)方法、基于距離的檢測(cè)方法及基于密度的檢測(cè)方法等；這些方法在一定程度上，能檢測(cè)出適用本身算法的異常數(shù)據(jù)對(duì)象，然而均存在一些不足和缺陷，如檢測(cè)效率低、檢測(cè)精度不高、參數(shù)的設(shè)置依賴用戶的先驗(yàn)知識(shí)及在高維大數(shù)據(jù)集中適用性差等。本文針對(duì)各種離群點(diǎn)檢測(cè)方法的局限性，提出了改進(jìn)的

3、基于方形對(duì)稱鄰域和記憶效應(yīng)的局部離群點(diǎn)檢測(cè)算法SSMOD；具體而言，本文所作的工作主要包括以下幾個(gè)方面：
　　 ①分析研究離群數(shù)據(jù)挖掘的背景和意義，探討國內(nèi)外研究現(xiàn)狀。
　　 ②系統(tǒng)而全面地分析各經(jīng)典的離群點(diǎn)挖掘方法，重點(diǎn)闡述基于統(tǒng)計(jì)分布的、基于深度的、基于偏差的、基于聚類的和基于距離的檢測(cè)方法；對(duì)各種代表性算法的優(yōu)點(diǎn)和缺點(diǎn)進(jìn)行分析和比較，介紹離群數(shù)據(jù)挖掘的研究熱點(diǎn)及發(fā)展趨勢(shì)。
　　 ③基于已有的各種經(jīng)典算法，如

4、LOF、NDOD算法等，提出了改進(jìn)的基于方形對(duì)稱鄰域和記憶效應(yīng)的局部離群點(diǎn)檢測(cè)算法SSMOD，并利用新的度量方式評(píng)估對(duì)象的離群程度及引入記憶效應(yīng)思想，大大降低算法復(fù)雜度。
　　 ④從理論分析和實(shí)驗(yàn)測(cè)試的角度分別評(píng)估算法SSMOD，并探討初始參數(shù)對(duì)檢測(cè)結(jié)果的影響；比較和分析算法在低維和高維空間中的檢測(cè)效率及檢測(cè)精度。
　　 ⑤總結(jié)本文所作的研究工作，對(duì)離群數(shù)據(jù)挖掘的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)和展望。
　　 本文通過實(shí)驗(yàn)對(duì)改進(jìn)