基于聚類算法的大數(shù)據(jù)樣本集優(yōu)化的研究.pdf

1、大數(shù)據(jù)已成為繼云計算之后信息技術(shù)領(lǐng)域中研究熱點之一。如何有效的分析和處理這些呈爆炸式增長的數(shù)據(jù)并提取其中有價值的信息，是當前亟待解決的問題。然而，現(xiàn)有的數(shù)據(jù)挖掘算法在處理如此巨量的數(shù)據(jù)信息時往往存在很大的局限性，不僅會消耗大量的物理資源，并且獲得挖掘結(jié)果的質(zhì)量也不高。針對這些問題，降低數(shù)據(jù)規(guī)模、對數(shù)據(jù)進行抽樣分析是解決該問題的有效途徑之一。當數(shù)據(jù)增加到一定規(guī)模時，其中所蘊含的知識和模式并不是成指數(shù)增長，而是逐漸趨于平穩(wěn)，所以如何通過抽樣

2、算法在降低數(shù)據(jù)規(guī)模的同時保證原數(shù)據(jù)的分布特點，使更多的數(shù)據(jù)挖掘算法能夠應(yīng)用于大數(shù)據(jù)的分析處理，具有很重要的研究意義。
　　本文首先對數(shù)據(jù)挖掘中抽樣算法的國內(nèi)外研究成果進行了匯總，通過對這些成果的深入研究，發(fā)現(xiàn)了當前數(shù)據(jù)挖掘中抽樣算法的特性以及存在的問題。一方面，傳統(tǒng)的抽樣算法雖然能夠解決數(shù)據(jù)規(guī)模問題，但是當數(shù)據(jù)集并不是均勻分布時，就可能導(dǎo)致抽樣效率低、樣本代表性差等問題。另一方面，也有很多數(shù)據(jù)挖掘算法是采取將抽樣算法融入自身的算法

3、改進中來應(yīng)對大數(shù)據(jù)問題，然而這種算法改進只針對自身算法有效而不能適用于其他算法，存在一定的局限性。
　　針對上述問題，本文提出了一種基于聚類算法的大數(shù)據(jù)抽樣算法BKMS。首先對大數(shù)據(jù)的聚類方法進行了分析，然后對聚類算法中的K-means算法進行深入研究，針對K-means算法對初始聚類中心敏感的缺陷提出了一種改進策略。通過計算每個候選點臨域內(nèi)所有數(shù)據(jù)點的重心作為初始聚類中心，旨在選取的每個初始聚類中心相距較遠避免算法陷入局部最優(yōu)，