高維孤立點(diǎn)檢測(cè)算法研究.pdf

1、孤立點(diǎn)檢測(cè)是數(shù)據(jù)挖掘的一個(gè)重要方面，因其獨(dú)特的知識(shí)發(fā)現(xiàn)功能而得到較為深入的研究。孤立點(diǎn)檢測(cè)算法已經(jīng)在金融欺詐檢測(cè)、網(wǎng)絡(luò)入侵檢測(cè)、生態(tài)系統(tǒng)失調(diào)、天氣預(yù)報(bào)等風(fēng)險(xiǎn)控制領(lǐng)域得到了廣泛的應(yīng)用。但隨著應(yīng)用范圍的不斷擴(kuò)大，傳統(tǒng)的孤立點(diǎn)檢測(cè)算法遇到了一些難以克服的障礙，算法效率不能適應(yīng)大規(guī)模數(shù)據(jù)處理，算法的參數(shù)難以選擇造成檢測(cè)結(jié)果不穩(wěn)定，算法不能適應(yīng)高維數(shù)據(jù)的特性等。論文主要針對(duì)以上問(wèn)題對(duì)孤立點(diǎn)檢測(cè)技術(shù)進(jìn)行了研究。 論文首先詳細(xì)介紹了傳統(tǒng)的孤立

2、點(diǎn)檢測(cè)算法，并對(duì)它們進(jìn)行了比較和分析，指出它們的不足之處，在此基礎(chǔ)上提出基于平均密度的孤立點(diǎn)檢測(cè)算法(ADOD)，以減少用戶對(duì)參數(shù)選擇的困難；其次，為了解決高維數(shù)據(jù)對(duì)孤立點(diǎn)檢測(cè)帶來(lái)的困難，先提出基于有限比較的最大頻繁項(xiàng)目集挖掘算法(LCMFI)，再利用LCMFI算法對(duì)基于頻繁模式的孤立點(diǎn)檢測(cè)算法(FindFPOF)進(jìn)行改進(jìn)，提出基于加權(quán)最大頻繁模式的孤立點(diǎn)檢測(cè)算法(FindWMFPOF)，該算法以最大頻繁模式代替頻繁模式計(jì)算頻繁孤立因子

3、(FPOF)，降低了算法的運(yùn)算規(guī)模，具有良好的檢測(cè)效果。 論文主要工作如下： 1.對(duì)現(xiàn)有的孤立點(diǎn)檢測(cè)算法進(jìn)行了分析，指出它們共同存在的不足：算法對(duì)參數(shù)的選擇缺乏自動(dòng)化。 2.提出基于平均密度的孤立點(diǎn)檢測(cè)算法(ADOD)。用平均密度的概念重新定義孤立點(diǎn)度量，以一個(gè)新的視點(diǎn)來(lái)檢測(cè)孤立點(diǎn)，并用實(shí)驗(yàn)驗(yàn)證ADOD算法有效性，不僅能在孤立點(diǎn)檢測(cè)時(shí)減少用戶對(duì)參數(shù)選擇的困難，而且具有較好的檢測(cè)效果。 3.分析了高維數(shù)據(jù)的

4、特點(diǎn)及其對(duì)傳統(tǒng)孤立點(diǎn)檢測(cè)方法的影響。比較和分析了現(xiàn)有高維孤立點(diǎn)檢測(cè)算法，指出它們?cè)谒惴ㄐ噬洗嬖诘牟蛔恪?4.提出基于有限比較的最大頻繁項(xiàng)目集挖掘算法(LCMFI)，給出了相關(guān)定義和定理，并對(duì)算法的運(yùn)行效率作了詳細(xì)地分析和證明，LCMFI算法挖掘2-最大頻繁項(xiàng)目集的時(shí)間復(fù)雜度為O(m·n2)。該算法的提出為改進(jìn)FindFPOF算法提供了理論基礎(chǔ)。 5.提出基于加權(quán)最大頻繁模式的孤立點(diǎn)檢測(cè)算法(FindWMFPOF)。該算