基于模糊聚類的大規(guī)模數(shù)據(jù)聚類算法及其應用研究.pdf

1、隨著現(xiàn)代科技的發(fā)展，人類邁入了信息社會，各行各業(yè)的信息數(shù)據(jù)呈現(xiàn)爆發(fā)式的增長。如何從這些海量數(shù)據(jù)中找到真正有用的信息成為人們關注的熱點。數(shù)據(jù)挖掘（Da ta mining）技術是信息決策和數(shù)據(jù)庫知識發(fā)現(xiàn)的重要工具，聚類技術便是數(shù)據(jù)挖掘技術中一個非常重要的手段。聚類技術目的是將大量樣本或抽象的數(shù)據(jù)按照相互之間的相似性分成若干個子集合，從而發(fā)現(xiàn)數(shù)據(jù)的結(jié)構(gòu)，幫助人們更好的了解數(shù)據(jù)之間隱藏的信息。信息科技的進步，導致信息規(guī)模增長越來越快，樣本包含

2、的特征也越來越復雜，很多傳統(tǒng)聚類算法都已無法應對如此大規(guī)模的數(shù)據(jù)，研究人員將注意力轉(zhuǎn)移到能夠適應復雜海量數(shù)據(jù)的新型算法上。本文將結(jié)合傳統(tǒng)模糊聚類算法并引入流數(shù)據(jù)聚類的概念，提出了針對海量數(shù)據(jù)的流數(shù)據(jù)聚類模型，使算法能夠適應大規(guī)模數(shù)據(jù)集。本文主要工作如下：
　?。?）提出了一種基于傳統(tǒng)點密度加權 FCM聚類算法的適應較大規(guī)模手寫數(shù)字圖片識別的方法。本方法根據(jù)現(xiàn)有流數(shù)據(jù)聚類方法，每次讀取一個數(shù)據(jù)點，每次循環(huán)只對一個點和現(xiàn)有聚類中心計算

3、隸屬度，根據(jù)隸屬度的最大值來決定是否令該點直接參與聚類模型的更新。本算法的關鍵步驟就是設計了一個基于流數(shù)據(jù)的聚類框架，結(jié)合在線k-means算法模型更新方法和點密度加權的FCM算法，實現(xiàn)了one-by-one的在線聚類來進行無監(jiān)督方式的手寫數(shù)字識別。本算法避免了同時處理所有數(shù)字圖像數(shù)據(jù)，極大地減輕了大規(guī)模數(shù)據(jù)處理時對計算機硬件的要求，同時與現(xiàn)有的分塊的WFCM算法相比，由于大部分點直接參與了聚類模型的更新，減少了調(diào)用 WFCM算子的次數(shù)

4、，從而節(jié)省了計算時間，降低了時間的復雜度，更適合處理規(guī)模較大的手寫數(shù)字圖片數(shù)據(jù)。
　　（2）基于上一部分提出的流數(shù)據(jù)處理框架，提出了一種改進的流數(shù)據(jù)處理方法，由于之前提出的算法是基于點密度加權的FCM算法，雖然該算法根據(jù)數(shù)據(jù)樣本周圍的密度來給每一個數(shù)據(jù)點加權值以突顯出周圍密度較大的特點，一定程度上提高了算法的收斂速度，但這種算法需要給數(shù)據(jù)池中的每一個點都計算權值，這在一定程度上增加了算法的計算復雜度。為了避免這種現(xiàn)象，本章我們提出

5、了一種在SPFCM基礎上改進的流數(shù)據(jù)聚類算法，這個算法在上一章中已經(jīng)使用過。這個算法的基本原理也是給每個樣本點進行加權，但每個樣本點的權值都初始化為1，只有聚類中心的權值會不斷增加，每多一個點對應的聚類中心的權值就會增加。這樣在對后來進入的數(shù)據(jù)塊進行聚類時，這些權值較大的點就更容易成為聚類中心。
　?。?）對現(xiàn)有的社區(qū)檢測算法做了深入研究發(fā)現(xiàn)，社區(qū)檢測問題和數(shù)據(jù)聚類問題有很多相似的地方，且目前已有很多用聚類手段來做社區(qū)檢測的方法。

6、由于對復雜網(wǎng)絡的特征矩陣結(jié)構(gòu)較為復雜，現(xiàn)有聚類方法方法效果不是很理想。于是我們引入量子聚類方法對網(wǎng)絡的特征矩陣進行聚類來劃分社區(qū)。首先用結(jié)構(gòu)相似度矩陣來度量網(wǎng)絡節(jié)點關系的強弱，對由該矩陣提取出的特征矩陣進行聚類，將社區(qū)檢測問題轉(zhuǎn)化為聚類問題。并在聚類階段引入節(jié)點鄰接信息，提高了算法的處理效率并提高了算法性能，并在人工生成網(wǎng)絡和真實世界網(wǎng)絡上和其他算法做了對比。
　　本文得到如下基金資助：教育部新世紀優(yōu)秀人才支持計劃：（NCET-1