孤立點數(shù)據(jù)挖掘技術(shù)研究及應(yīng)用.pdf

1、數(shù)據(jù)挖掘(Data Mining)是近幾年來發(fā)展起來的一門新興的數(shù)據(jù)庫技術(shù)，它是按照既定的業(yè)務(wù)目標(biāo)，對大量的數(shù)據(jù)進行探索和分析，從中提取潛在的、隱含的、有價值的知識，并進一步將其模型化的高級有效的方法。數(shù)據(jù)挖掘的模式一般可以分為關(guān)聯(lián)規(guī)則、分類和預(yù)測、聚類、演變分析以及孤立點檢測等。
　　 孤立點數(shù)據(jù)是數(shù)據(jù)集中與眾不同的數(shù)據(jù)，它們與數(shù)據(jù)的一般行為或模型是不一致的，這些數(shù)據(jù)并非隨機偏差，而是產(chǎn)生于完全不同的機制。孤立點檢測是數(shù)據(jù)挖掘

2、中的一個重要方向，孤立點數(shù)據(jù)有可能是數(shù)據(jù)的真實性質(zhì)的反映，孤立點數(shù)據(jù)挖掘有著廣泛的應(yīng)用，在銀行、證券、醫(yī)療、欺詐檢測等方面有著非常重要的意義。如欺詐檢測，用孤立點檢測來探測不尋常的信用卡使用或者電信服務(wù)；預(yù)測市場動向，在市場分析中分析客戶的流失等異常行為；或者在醫(yī)療分析中發(fā)現(xiàn)對多種治療方式的不尋常的反應(yīng)等等。通過對這些數(shù)據(jù)進行研究，發(fā)現(xiàn)不正常的行為和模式，實現(xiàn)異常數(shù)據(jù)挖掘功能。
　　 本文研究了常用的孤立點數(shù)據(jù)檢測算法，包括基于

3、統(tǒng)計的方法、基于距離的方法、基于密度的方法、基于偏差的方法及高維數(shù)據(jù)的異常檢測等。在分析現(xiàn)有算法的基礎(chǔ)上，提出了改進的孤立點檢測方法和孤立點檢測的多聚集方法。
　　 改進的孤立點檢測方法通過分析數(shù)據(jù)對象的屬性距離，對數(shù)據(jù)進行孤立點檢測，實驗表明改進的孤立點檢測方法是可行的。與基于距離的孤立點檢測算法比較，在時間復(fù)雜度方面有了很大的提高，并且距離參數(shù)的設(shè)定更加簡單。
　　 基于孤立點檢測的多聚集檢測算法是孤立點檢測方法和k