基于大數(shù)據的聚類算法研究及應用.pdf

1、本文主要研究 k-means聚類算法及其應用。在大數(shù)據背景下，傳統(tǒng)聚類分析算法的局限性已日益凸顯，其中最明顯的就是傳統(tǒng)聚類算法對于小規(guī)模簡單數(shù)據集執(zhí)行效率高且聚類結果良好，但面對大規(guī)模高維數(shù)據集，傳統(tǒng) k-means算法就會出現(xiàn)諸如效率低下、準確率降低等缺點，而且 k-means算法易受初始中心和異常數(shù)據的影響，影響聚類準確性。針對以上問題，本文對面向大規(guī)模高維數(shù)據的k-means聚類分析算法進行了研究分析并進行改進，提高其在大規(guī)模高維

2、數(shù)據集上的執(zhí)行效率和準確度。
　　本文的研究工作主要體現(xiàn)在以下三方面。第一，將基于信息熵的核主成分分析法與k-means算法相結合，根據屬性的信息熵值對數(shù)據屬性進行初步篩選，根據規(guī)定的閾值去除信息量小的屬性，減少冗余屬性，然后對提取出的屬性進行核主成分分析，從而實現(xiàn)對數(shù)據的降維，最后在降維后的數(shù)據上實行k-means算法，這樣就減少了聚類的計算量，提高了聚類的計算效率。第二，本文針對k-means算法隨機選擇初始聚類中心易出現(xiàn)聚類

3、結果不穩(wěn)定的情況，首先對數(shù)據集進行簡單隨機抽樣，獲得與原始數(shù)據集分布基本一致的少量樣本數(shù)據集，并根據抽樣樣本空間分布的緊密度程度，利用最小方差優(yōu)化來實現(xiàn) k-means算法初始聚類中心的選取，減少異常點等不確定因素對初始聚類中心帶來的不良影響。其次為了克服聚類計算過程中樣本數(shù)據不同屬性對聚類結果的影響程度，引入熵值法來計算屬性權重，從而提出基于優(yōu)化初始聚類中心的加權 k-means算法來提高聚類精度，并通過數(shù)值實驗驗證了算法的可行性和有