大規(guī)模數(shù)據(jù)聚類分析方法研究.pdf

1、聚類分析是數(shù)據(jù)挖掘與模式識(shí)別等領(lǐng)域的一個(gè)重要的研究課題。隨著IT技術(shù)的迅猛發(fā)展，人們應(yīng)用的數(shù)據(jù)庫(kù)的規(guī)模和應(yīng)用的范圍不斷地?cái)U(kuò)大，數(shù)據(jù)采集技術(shù)不斷更新，人們快速產(chǎn)生和收集數(shù)據(jù)的能力不斷增強(qiáng)，大規(guī)模數(shù)據(jù)集受到了整個(gè)社會(huì)的廣泛關(guān)注。大規(guī)模數(shù)據(jù)集的出現(xiàn)給數(shù)據(jù)聚類分析的許多算法帶來(lái)了極大的挑戰(zhàn)，許多算法變得不能很好地、甚至不能對(duì)大規(guī)模的數(shù)據(jù)集進(jìn)行有效地聚類分析。如何使這些算法能夠有效地處理大規(guī)模數(shù)據(jù)集已經(jīng)成為數(shù)據(jù)挖掘領(lǐng)域的一大研究熱點(diǎn)。本文在對(duì)現(xiàn)有

2、數(shù)據(jù)聚類算法的相關(guān)研究進(jìn)行總結(jié)的基礎(chǔ)之上，以一些真實(shí)和人造的大規(guī)模數(shù)據(jù)集為應(yīng)用背景，深入研究了大規(guī)模數(shù)據(jù)集數(shù)據(jù)聚類分析算法中的如下幾個(gè)關(guān)鍵問(wèn)題。
　?。?）針對(duì)大規(guī)模數(shù)據(jù)集k-means算法因?yàn)槿菀资諗坑诰植孔顑?yōu)解而產(chǎn)生的聚類結(jié)果的質(zhì)量不高、對(duì)初始聚類中心點(diǎn)敏感的問(wèn)題，提出了基于最大三角形法則的k-means聚類算法和基于最大三角形法則的半監(jiān)督k-means聚類算法，通過(guò)利用最大三角形法則選取初始聚類中心和借鑒半監(jiān)督聚類的思想，提

3、高了算法處理大規(guī)模數(shù)據(jù)集的聚類結(jié)果的質(zhì)量和穩(wěn)定性。
　　（2）針對(duì)譜聚類算法在處理大規(guī)模數(shù)據(jù)集時(shí)計(jì)算復(fù)雜度高的問(wèn)題，提出了一種基于Nystr(o)m方法的快速譜聚類算法。該算法利用有約束的抽樣模型和Nystr(o)m方法降低了譜聚類算法的計(jì)算復(fù)雜度，提高了聚類結(jié)果的質(zhì)量。
　?。?）針對(duì)最小距離分類法和最近鄰分類法在訓(xùn)練樣本很少或訓(xùn)練樣本偏離類中心較遠(yuǎn)時(shí)，分類效果較差的問(wèn)題，提出了基于均值更新（MU）的分類模型和基于均值更新

4、的最小距離（MU-MD）分類模型，通過(guò)糾正MU分類過(guò)程中的錯(cuò)分，提高分類效果。在此分類模型的基礎(chǔ)上，針對(duì)常用聚類方法在大規(guī)模數(shù)據(jù)處理上的不足，提出了一種劃分聚類新方法。該方法采用了大規(guī)模數(shù)據(jù)集的抽樣技術(shù)，對(duì)多次抽取的規(guī)模足夠大的樣本進(jìn)行聚類以確定自然簇質(zhì)心的初始位置，在此基礎(chǔ)上采用抽樣后剩余數(shù)據(jù)樣本對(duì)質(zhì)心的初始位置進(jìn)行更新，以便校正偏離理想位置的初始質(zhì)心。實(shí)驗(yàn)結(jié)果表明本文提出的新聚類算法不僅能得到比常用聚類算法更理想的結(jié)果，而且運(yùn)行速度