H-KTT聚類算法及其在大規(guī)模AMI數(shù)據(jù)分析中的應(yīng)用.pdf

1、隨著時(shí)代的發(fā)展，大數(shù)據(jù)問題已經(jīng)普遍存在于各個(gè)研究領(lǐng)域中。而聚類技術(shù)的應(yīng)用，則可以根據(jù)相似度對數(shù)據(jù)樣本進(jìn)行歸類，從而使得數(shù)據(jù)的分析工作更為便捷，更好的提取并利用數(shù)據(jù)中的隱含信息。近年來，高性能聚類技術(shù)的研發(fā)一直受到外界的高度重視。作為智能電網(wǎng)領(lǐng)域中眾多大數(shù)據(jù)問題之一，高級量測體系(AMI)負(fù)荷樣本的聚類工作對于系統(tǒng)中的多種實(shí)際應(yīng)用均具有極為重大的意義。然而，由于數(shù)據(jù)量過大，多種各具特色的經(jīng)典聚類算法在處理大數(shù)據(jù)問題時(shí)均效率低下，甚至難以實(shí)

2、現(xiàn)。
　　同樣作為經(jīng)典聚類算法中的一種，K-means算法由于其簡單的原理而具有較快的收斂速度，也因此在大數(shù)據(jù)問題中被廣泛采用。但在傳統(tǒng)K-means算法中，聚類結(jié)果對在數(shù)據(jù)集中隨機(jī)選取的初始中心點(diǎn)十分敏感，且最終僅能夠得到單一的局部最優(yōu)解。上述兩問題均會(huì)隨著數(shù)據(jù)集規(guī)模的擴(kuò)大而越發(fā)嚴(yán)重，并導(dǎo)致不甚理想的聚類效果。
　　為解決上述問題，以改善傳統(tǒng)K-means算法在處理大規(guī)模數(shù)據(jù)集時(shí)的聚類質(zhì)量，本文完成了以下工作。首先，為了給

3、傳統(tǒng)K-means算法提供更高質(zhì)量的初始中心點(diǎn)，基于對原始數(shù)據(jù)集結(jié)構(gòu)的簡化，提出了階層式K-means(Hierarchical K-means，即H-K-means)算法。其次，為了進(jìn)一步改進(jìn)H-K-means算法的聚類效果，將原K-means算法聚類問題轉(zhuǎn)化為基于目標(biāo)函數(shù)的非線性有約束優(yōu)化問題，并利用TRUST-TECH優(yōu)化技術(shù)進(jìn)行求解，實(shí)現(xiàn)H-KTT算法。其中，TRUST-TECH技術(shù)是一種高性能非線性優(yōu)化技術(shù)，針對給定的非線性優(yōu)

4、化問題，它能夠有效的擺脫某一局部最優(yōu)解的束縛，跳出該局部解所在區(qū)域，經(jīng)過逐層搜索，最終得到可行域內(nèi)其他多個(gè)局部最優(yōu)解（乃至全局最優(yōu)解），進(jìn)而顯著改善優(yōu)化結(jié)果的質(zhì)量。
　　本文將H-K-means算法與H-KTT算法應(yīng)用于來自美國的大規(guī)模AMI負(fù)荷數(shù)據(jù)集，以對其效果進(jìn)行測試。此外，還引入了多種該領(lǐng)域內(nèi)較為通用的聚類算法進(jìn)行對比，使所得結(jié)果更具有說服力。實(shí)際結(jié)果表明，H-K-means算法在聚類效果評價(jià)指標(biāo)、實(shí)際應(yīng)用以及計(jì)算效率三方面