云環(huán)境下面向大數(shù)據(jù)的模糊C均值算法研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，微博、微信、社交網(wǎng)絡(luò)等交互式應(yīng)用的涌現(xiàn)、基于云應(yīng)用的興起、多種形式數(shù)碼設(shè)備的使用，數(shù)據(jù)正呈爆炸性增長(zhǎng)。面對(duì)如此龐大的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析工具僅僅從簡(jiǎn)單的統(tǒng)計(jì)、查詢和管理數(shù)據(jù)等方面進(jìn)行處理，不能深層次地挖掘潛在的有用的信息。因此，如何利用大數(shù)據(jù)挖掘出有價(jià)值的信息就顯得尤為重要。聚類分析是大數(shù)據(jù)分析技術(shù)之一，傳統(tǒng)的單機(jī)聚類算法在運(yùn)行效率和計(jì)算的復(fù)雜度都無(wú)法滿足大數(shù)據(jù)信息處理的要求，云計(jì)算技術(shù)的發(fā)展為大數(shù)據(jù)的聚類分析

2、提供了新的研究方向。
　　本文結(jié)合MapReduce并行計(jì)算模型，通過(guò)對(duì)傳統(tǒng)的FCM聚類算法進(jìn)行研究，能夠快速、高效的實(shí)現(xiàn)大數(shù)據(jù)的聚類分析。
　　本文的工作如下：
　?。?）大數(shù)據(jù)集成方法研究：大數(shù)據(jù)的一個(gè)重要特點(diǎn)是多樣性，這意味著數(shù)據(jù)類型的多樣性、數(shù)據(jù)來(lái)源的廣泛性。要進(jìn)行大數(shù)據(jù)的分析，首先需要將不同數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行集成，本文針對(duì)大數(shù)據(jù)多樣性的特點(diǎn)進(jìn)行了研究。通過(guò)剖析傳統(tǒng)基于Web Service和XML技術(shù)的數(shù)據(jù)集

3、成系統(tǒng)，結(jié)合云平臺(tái)的優(yōu)勢(shì)，研究云環(huán)境下解析XML數(shù)據(jù)的方法，提出了基于Hadoop的數(shù)據(jù)集成方案，將不同數(shù)據(jù)源中的數(shù)據(jù)集成到HBase數(shù)據(jù)庫(kù)中，以便對(duì)這些數(shù)據(jù)進(jìn)行高效、快速的分析。
　?。?）模糊C均值（FCM）算法研究：聚類分析是大數(shù)據(jù)分析技術(shù)之一，本文對(duì)聚類分析中的模糊C均值算法進(jìn)行了研究，設(shè)計(jì)了其MapReduce化方案。
　　（3）基于Canopy的FCM算法（Canopy-FCM）研究：考慮到大數(shù)據(jù)集數(shù)據(jù)量大的特點(diǎn)

4、，本文對(duì)Canopy算法進(jìn)行了研究，Canopy是一種粗糙的聚類算法，其能夠通過(guò)很少的迭代次數(shù)獲取比較粗糙的聚類中心，該算法具有快速的特點(diǎn)，因此將Canopy算法獲取的聚類中心結(jié)果作為FCM聚類算法的輸入能夠加快FCM聚類算法收斂速度，本文對(duì)基于Canopy的FCM算法進(jìn)行了研究，設(shè)計(jì)了其MapReduce化方案。
　　（4）基于Hash取樣的最大最小距離的FCM算法（HMMFCM）研究：Canopy-FCM算法是一種快速但不精確