基于大數(shù)據(jù)的聚類(lèi)算法研究及應(yīng)用.pdf

1、本文主要研究 k-means聚類(lèi)算法及其應(yīng)用。在大數(shù)據(jù)背景下，傳統(tǒng)聚類(lèi)分析算法的局限性已日益凸顯，其中最明顯的就是傳統(tǒng)聚類(lèi)算法對(duì)于小規(guī)模簡(jiǎn)單數(shù)據(jù)集執(zhí)行效率高且聚類(lèi)結(jié)果良好，但面對(duì)大規(guī)模高維數(shù)據(jù)集，傳統(tǒng) k-means算法就會(huì)出現(xiàn)諸如效率低下、準(zhǔn)確率降低等缺點(diǎn)，而且 k-means算法易受初始中心和異常數(shù)據(jù)的影響，影響聚類(lèi)準(zhǔn)確性。針對(duì)以上問(wèn)題，本文對(duì)面向大規(guī)模高維數(shù)據(jù)的k-means聚類(lèi)分析算法進(jìn)行了研究分析并進(jìn)行改進(jìn)，提高其在大規(guī)模高維

2、數(shù)據(jù)集上的執(zhí)行效率和準(zhǔn)確度。
　　本文的研究工作主要體現(xiàn)在以下三方面。第一，將基于信息熵的核主成分分析法與k-means算法相結(jié)合，根據(jù)屬性的信息熵值對(duì)數(shù)據(jù)屬性進(jìn)行初步篩選，根據(jù)規(guī)定的閾值去除信息量小的屬性，減少冗余屬性，然后對(duì)提取出的屬性進(jìn)行核主成分分析，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的降維，最后在降維后的數(shù)據(jù)上實(shí)行k-means算法，這樣就減少了聚類(lèi)的計(jì)算量，提高了聚類(lèi)的計(jì)算效率。第二，本文針對(duì)k-means算法隨機(jī)選擇初始聚類(lèi)中心易出現(xiàn)聚類(lèi)

3、結(jié)果不穩(wěn)定的情況，首先對(duì)數(shù)據(jù)集進(jìn)行簡(jiǎn)單隨機(jī)抽樣，獲得與原始數(shù)據(jù)集分布基本一致的少量樣本數(shù)據(jù)集，并根據(jù)抽樣樣本空間分布的緊密度程度，利用最小方差優(yōu)化來(lái)實(shí)現(xiàn) k-means算法初始聚類(lèi)中心的選取，減少異常點(diǎn)等不確定因素對(duì)初始聚類(lèi)中心帶來(lái)的不良影響。其次為了克服聚類(lèi)計(jì)算過(guò)程中樣本數(shù)據(jù)不同屬性對(duì)聚類(lèi)結(jié)果的影響程度，引入熵值法來(lái)計(jì)算屬性權(quán)重，從而提出基于優(yōu)化初始聚類(lèi)中心的加權(quán) k-means算法來(lái)提高聚類(lèi)精度，并通過(guò)數(shù)值實(shí)驗(yàn)驗(yàn)證了算法的可行性和有