基于密度的局部離群點檢測算法的研究與改進.pdf

1、離群點是指數(shù)據(jù)集中和常規(guī)數(shù)據(jù)對象的產(chǎn)生機制完全不同的，不符合數(shù)據(jù)的一般規(guī)律，偏離常規(guī)數(shù)據(jù)對象的數(shù)據(jù)點，但是它們又可能包含著我們?nèi)菀缀雎缘姆浅Ｖ匾男畔?。如在信用卡欺詐偵查、移動通訊等領(lǐng)域中，離群點是我們研究的主要對象。離群點會使我們從新的角度考慮問題，從而發(fā)現(xiàn)新的理論或者應(yīng)用。
　　離群檢測技術(shù)具有重要的研究價值且廣泛的應(yīng)用在藥物研究、用戶行為分析、網(wǎng)絡(luò)入侵檢、股票證券交易、工業(yè)減損、金融等領(lǐng)域中。在金融分析中通過分析交易數(shù)據(jù)，檢

2、測是否存在金融欺詐;在市場分析中可用于確定極低或極高收入客戶的消費行為，進而對客戶分析、分類，然后對市場進行定向和預(yù)測;在醫(yī)療分析中在醫(yī)療分析中用于發(fā)現(xiàn)多種治療方式的不尋常反應(yīng)等。目前如何在大規(guī)模高維數(shù)據(jù)集中迅速有效地發(fā)現(xiàn)并處理異常對象成為一個很值得研究且很具有挑戰(zhàn)性的問題。
　　離群點檢測的算法有很多，大體上可以分為:基于統(tǒng)計學(xué)的、基于距離的、基于密度的和基于偏移的離群點檢測算法等。目前人工智能，機器學(xué)習(xí)和模式識別等領(lǐng)域發(fā)展越來

3、越快，越來越多有效、新穎的離群點檢測方法和技術(shù)也隨之出現(xiàn)，包括自組織映射技術(shù)，人工神經(jīng)網(wǎng)絡(luò)技術(shù)，模糊粗糙集技術(shù)和分區(qū)技術(shù)等。然而現(xiàn)有的大多數(shù)離群點檢測算法在一定程度上均存在一些缺點:檢測精度不高，時間復(fù)雜度高，參數(shù)的設(shè)置對用戶的依賴性比較強和算法的可伸縮性差等。
　　針對大多數(shù)算法的檢測精度不高，時間復(fù)雜度高局限性和算法的可伸縮性差的不足，本文在基于密度的局部離群點檢測算法研究基礎(chǔ)上提出了一種改進算法:(1)改進算法通過使用多組不

4、同的參數(shù)得到不同的DBSCAN聚類結(jié)果，再對聚類結(jié)果進行整合，剪枝，得到初步異常數(shù)據(jù)集。使用多組參數(shù)進行聚類的目的是為了避免位于簇邊緣的數(shù)據(jù)點被錯剪，這樣既能達(dá)到降低計算復(fù)雜度的效果，又能保證檢測的精確度;(2)引入去一劃分信息熵增量的概念，對數(shù)據(jù)對象的屬性加權(quán)量化，給不同貢獻(xiàn)度的屬性分配不同的權(quán)值。之前的檢測算法中屬性的權(quán)值都是由專家決定的，有很大的人為因素，這就會對檢測結(jié)果有很大的影響，去一劃分信息熵增量就很好的解決了這一問題，也能