大型數(shù)據(jù)集中離群數(shù)據(jù)挖掘算法研究及應用.pdf

1、目前,數(shù)據(jù)挖掘在很多領(lǐng)域都是比較熱門的一個話題，它是一個從大量的原始數(shù)據(jù)中發(fā)現(xiàn)潛在知識的過程。離群挖掘的主要目的是從大量的、不完全的、有噪聲的各種數(shù)據(jù)中，發(fā)現(xiàn)隱含在其中的人們事先不知道但又具有潛在價值的信息或者知識。而離群數(shù)據(jù)是這樣一種數(shù)據(jù)：它明顯偏離其它數(shù)據(jù)、不滿足數(shù)據(jù)的一般模式或者行為。
　　離群點可能是“噪音”，但也可能是有意義的事件。實際情況下，在某些應用中，那些很少發(fā)生的事件很可能比經(jīng)常發(fā)生的事件更有研究價值。因此，離群

2、數(shù)據(jù)挖掘是一項非常重要且有意義的研究工作。離群數(shù)據(jù)挖掘已廣泛應用于股票市場、電信、金融、入侵檢測、天氣預報等許多領(lǐng)域。離群數(shù)據(jù)挖掘包括兩部分：離群數(shù)據(jù)檢測和離群數(shù)據(jù)分析。本文主要研究了離群數(shù)據(jù)挖掘中的關(guān)鍵問題——離群數(shù)據(jù)的檢測，通過分析幾種離群數(shù)據(jù)挖掘算法的優(yōu)缺點，提出了基于兩次聚類的ＫＮＮ離群數(shù)據(jù)挖掘算法，并通過在綜合數(shù)據(jù)集上的實驗驗證了算法的準確性、高效性以及擴展性，最后將此算法應用于一個論壇注冊用戶行為的挖掘。本文的主要工作包括如

3、下幾方面：
　　1.闡述了離群數(shù)據(jù)挖掘的國內(nèi)外現(xiàn)狀及其研究的意義、離群數(shù)據(jù)挖掘的過程及其與數(shù)據(jù)倉庫的關(guān)系。綜合分析了現(xiàn)有的離群數(shù)據(jù)挖掘算法，研究了常用的幾種離群數(shù)據(jù)挖掘算法，分析了它們的優(yōu)缺點、適用范圍等。
　　2.詳細分析了兩種基于KNN的離群數(shù)據(jù)挖掘算法，并在這兩個算法的基礎(chǔ)上提出了基于兩次聚類的KNN離群數(shù)據(jù)挖掘算法，在綜合數(shù)據(jù)集上的實驗結(jié)果表明：基于兩次聚類的離群數(shù)據(jù)挖掘算法是準確的，且較之于原算法更加高效。