基于自然最近鄰居的離群檢測(cè)算法研究.pdf

1、在數(shù)據(jù)挖掘領(lǐng)域中,k最近鄰域是一個(gè)最基本的并被廣泛采用的鄰域概念,它是由離數(shù)據(jù)對(duì)象最近的k個(gè)點(diǎn)所形成的一個(gè)局部數(shù)據(jù)子集。國(guó)內(nèi)外眾多學(xué)者以 k最近鄰域概念為基礎(chǔ)提出了大量的優(yōu)秀的數(shù)據(jù)挖掘算法。但是在解決實(shí)際問(wèn)題的時(shí)候,任何涉及 k近鄰的算法,當(dāng)參數(shù)k值選擇不同時(shí),都會(huì)明顯影響算法產(chǎn)生的實(shí)際性能和檢測(cè)結(jié)果。即使是采用同一個(gè)算法,由于被處理的數(shù)據(jù)集特征不同, k值選擇也沒(méi)有可借鑒性,通常k值的選擇都是依靠用戶經(jīng)驗(yàn)和大量實(shí)驗(yàn)來(lái)決定,在k近鄰算法

2、中如何選擇一個(gè)合適的參數(shù)k值一直是一個(gè)研究難點(diǎn)。
　　本文引入了一種新的鄰域技術(shù)—自然最近鄰居,它不需要設(shè)置參數(shù)k,每個(gè)節(jié)點(diǎn)的鄰居是由算法自適應(yīng)計(jì)算而形成的。針對(duì)離群檢測(cè)的特殊性,我們改進(jìn)了自然最近鄰居搜索算法的終止條件,并且綜合了數(shù)據(jù)對(duì)象在自然最近鄰域中的三類不同的離群指數(shù),包括頻率離群指數(shù),局部離群指數(shù)以及簇離群指數(shù),提出了一種新的基于自然最近鄰居的離群點(diǎn)檢測(cè)算法ODB3N。實(shí)驗(yàn)表明,該算法不僅避免了k近鄰中參數(shù)選擇問(wèn)題,而且

3、能夠更有效地發(fā)現(xiàn)離群簇。
　　本文的主要工作和創(chuàng)新包括以下部分:
　?、俜治隽穗x群數(shù)據(jù)挖掘的研究背景及國(guó)內(nèi)外發(fā)展現(xiàn)狀和趨勢(shì)。
　　②詳細(xì)介紹了離群數(shù)據(jù)挖掘的典型算法和思想,以及數(shù)據(jù)挖掘的具體流程。
　?、垡肓俗匀蛔罱従蛹夹g(shù),并且改進(jìn)了自然最近鄰居搜索算法的終止條件。通過(guò)在隨機(jī)測(cè)試數(shù)據(jù)集上驗(yàn)證了改進(jìn)后的算法的穩(wěn)定性,在不同密度分布的數(shù)據(jù)集上分析驗(yàn)證了自然最近鄰域圖3NG自動(dòng)聚類的特性。
　　④提出了一種無(wú)