基于最近鄰相似度的孤立點(diǎn)檢測及半監(jiān)督聚類算法.pdf

1、聚類分析是數(shù)據(jù)挖掘領(lǐng)域的一種重要方法,聚類結(jié)果的好壞不僅依賴于相似度或者距離的定義,而且數(shù)據(jù)集中的孤立點(diǎn)也會影響聚類的效果。傳統(tǒng)聚類分析是一種無監(jiān)督的學(xué)習(xí),沒有先驗(yàn)知識的指導(dǎo)。在實(shí)際應(yīng)用中,人們往往可以利用樣本空間的一些先驗(yàn)知識或背景信息來解決類標(biāo)號難的問題,因此產(chǎn)生了半監(jiān)督聚類。
　　 本文首先介紹了聚類分析的相關(guān)知識,對數(shù)據(jù)挖掘中最基本的相似性度量進(jìn)行了總結(jié)。對傳統(tǒng)聚類算法進(jìn)行了分析,給出了傳統(tǒng)聚類算法的分類以及主要算法的性

2、能比較;并詳細(xì)論述了半監(jiān)督聚類算法的框架以及它與傳統(tǒng)聚類算法的不同之處。
　　 其次提出了基于最近鄰的孤立點(diǎn)檢測算法。首先分析了孤立點(diǎn)檢測的重要性,給出了最近鄰集的確定方法,并詳細(xì)介紹了檢測算法的具體步驟,并使用人工數(shù)據(jù)集和真實(shí)數(shù)據(jù)集驗(yàn)證了算法的準(zhǔn)確性與高效性。
　　 本文還提出了基于共享最近鄰的半監(jiān)督聚類算法。首先研究了半監(jiān)督算法中先驗(yàn)知識的相關(guān)情況,介紹了先驗(yàn)知識的獲取方式以及表現(xiàn)形式,并提出對約束集擴(kuò)展的兩種方法:

3、根據(jù)約束集本身的傳遞性以及數(shù)據(jù)集的特點(diǎn)對約束進(jìn)行擴(kuò)展。算法結(jié)合了擴(kuò)展后的最近鄰集,根據(jù)數(shù)據(jù)點(diǎn)間的SNN相似度構(gòu)建SNN相似度圖,使用圖形分割方法得到聚類結(jié)果,并通過真實(shí)數(shù)據(jù)集驗(yàn)證了約束擴(kuò)展方式的有效性以及聚類算法的高性能。
　　 最后,本文結(jié)合孤立點(diǎn)檢測算法和半監(jiān)督聚類算法,在一個含有孤立點(diǎn)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),先對數(shù)據(jù)集進(jìn)行“去噪”處理,然后對其進(jìn)行半監(jiān)督聚類,通過實(shí)驗(yàn)驗(yàn)證了算法在孤立點(diǎn)檢測以及半監(jiān)督聚類方面,比其他算法具有更高