基于密度的局部離群點檢測算法的研究與應用.pdf

1、近年來，隨著傳感器技術和數(shù)據(jù)庫技術的迅猛發(fā)展，數(shù)據(jù)挖掘技術得到了廣泛的應用，影響著人們生活的各個領域。數(shù)據(jù)挖掘技術就是從海量的、有噪聲的數(shù)據(jù)集中提取新穎的、有價值的潛在知識。離群點檢測作為數(shù)據(jù)挖掘的一個熱門分支，主要致力于查找出相對于其他大量數(shù)據(jù)對象產(chǎn)生顯著偏離，或不符合一般對象的行為特征的對象。目前，離群點檢測主要應用于網(wǎng)絡攻擊行為檢測，信用卡詐騙檢測，極端天氣預報，電信話費詐騙分析等領域。
　　離群點檢測的應用越來越受到關注，

2、現(xiàn)有的離群點檢測算法遭遇到極大挑戰(zhàn)。主要存在如下不足:(1)數(shù)據(jù)量越來越大，數(shù)據(jù)維數(shù)越來越高，甚至達到成百上千維，而現(xiàn)有的離群點挖掘算法主要針對中低維的小規(guī)模的數(shù)據(jù)集，難以有效地挖掘高維海量的數(shù)據(jù)集，并且檢測出的離群點是全局的，而非局部的;(2)簡單的將離群點看作是一種“非此即彼”的二元屬性，未能對離群點的離群程度進行評估。
　　本文針對傳統(tǒng)的基于密度的離群點檢測算法LOF、ELSC存在的不足，主要局限在難以適應高維大數(shù)據(jù)量的挖掘

3、，并且沒有充分考慮數(shù)據(jù)對象與其鄰域內(nèi)對象的相對關系，挖掘過程中重復計算的步驟過多。從而提出了改進算法NELSC。本文的主要工作有:
　　(1)針對海量的大規(guī)模數(shù)據(jù)集，本文提出了基于DBSCAN算法的剪枝策略。根據(jù)DBSCAN算法對參數(shù)敏感的特點，通過使用多組不同的數(shù)據(jù)參數(shù)，得到不同的DBSCAN聚類結(jié)果，然后對結(jié)果進行分析整合，將簇數(shù)據(jù)剪枝，得到初步的離群數(shù)據(jù)集。使用多組不同的參數(shù)是為了避免誤將簇邊緣的數(shù)據(jù)對象錯剪，這樣可以最大程

4、度地減小數(shù)據(jù)量，降低計算復雜度，同時又可以保證檢測的精確度。
　　(2)針對傳統(tǒng)算法對高維數(shù)據(jù)集檢測低效的問題，文中提出基于信息熵的離群子空間策略，通過使用該策略，對不同的對象屬性賦予不同的權值，根據(jù)不同屬性權值生成不同的屬性權向量，進而計算得到對象之間的熵權距離，有效地解決了高維數(shù)據(jù)挖掘中存在的“維度災難”問題，實現(xiàn)了在高維空間中基于密度的局部離群點挖掘。
　　(3)在DBSCAN算法聚類的過程中和計算局部離群系數(shù)時，傳統(tǒng)