基于分形維數(shù)的選擇性聚類融合算法研究.pdf

1、聚類是將數(shù)據(jù)樣本劃分成不同的類，使得在同一類內的數(shù)據(jù)對象盡可能相似，不同類之間的數(shù)據(jù)對象相似性盡可能小，它屬于無監(jiān)督的機器學習方法。聚類分析技術在數(shù)據(jù)挖掘、模式識別、統(tǒng)計等諸多領域有著廣泛的應用前景，一直是機器學習領域的一個研究熱點。針對特定數(shù)據(jù)，如何選擇合適的聚類算法一直是研究的重點。聚類融合是對已產(chǎn)生的聚類結果，通過共識函數(shù)設計進行融合，以達到最大化已有聚類結果共享信息的目的，從而得到比單一聚類算法更加準確和穩(wěn)定的挖掘結果。本文將聚

2、類融合算法思想與分形數(shù)據(jù)挖掘技術相結合，提出了基于分形維數(shù)的聚類融合算法。在大數(shù)據(jù)的環(huán)境下，將上述算法擴展到云計算環(huán)境下實現(xiàn)。
　　傳統(tǒng)的聚類融合算法在第一步產(chǎn)生聚類成員之后，將所有的聚類成員參與融合，這樣使得一些劣質的聚類結果參與了后面的融合，干擾了融合的準確性，降低了最終聚類結果的質量。在監(jiān)督學習中，選擇分類融合方法會得到更好的結果，從“選擇分類融合”中獲得啟發(fā)，將選擇性融合思想引入到聚類融合中，產(chǎn)生了選擇性聚類融合算法(Cl

3、ustering Ensemble Selection)。近幾年的研究表明，選擇性聚類融合方法能很好的提高聚類算法的魯棒性等性能。本文在第一步聚類成員產(chǎn)生階段引入分形數(shù)據(jù)挖掘技術，并將分形維數(shù)與投影聚類算法結合，提出了基于分形維數(shù)的選擇性聚類融合算法，以提高聚類成員的準確性。
　　本文的具體研究內容包括:
　　(1)針對傳統(tǒng)的K-means聚類算法適于發(fā)現(xiàn)球形數(shù)據(jù)集聚類，提出了一種基于分形維數(shù)的聚類融合算法，它將融合思想與單

4、一分形聚類相結合，較之單一的分形聚類算法，可以提高聚類結果的準確性，可以發(fā)現(xiàn)任意形狀且距離非鄰近的聚類。
　　(2)傳統(tǒng)的聚類算法對于處理海量和高維數(shù)據(jù)面臨著很多問題。本文研究了在云計算環(huán)境下，利用集群系統(tǒng)的并行計算能力，實現(xiàn)海量數(shù)據(jù)的聚類問題。為了提高聚類結果的準確性和穩(wěn)定性，采用聚類融合的思想，利用分形聚類數(shù)據(jù)挖掘算法，可以實現(xiàn)任意形狀的海量數(shù)據(jù)集聚類。
　　(3)針對傳統(tǒng)聚類融合算法不能消除劣質聚類成員的干擾，及聚類準

5、確性不高等問題，提出了一種基于分形維數(shù)的選擇性聚類融合算法。該算法通過基于分形維數(shù)的聚類算法實現(xiàn)增量式聚類，能夠發(fā)現(xiàn)任意形狀的聚類;再通過基于互信息計算權值的選擇策略，選取部分優(yōu)質聚類成員利用加權共協(xié)矩陣實現(xiàn)融合，獲得最終的聚類結果。通過實驗證實，與傳統(tǒng)聚類融合算法相比，該算法提高了聚類質量，具有較好的擴展性。
　　(4)針對高維數(shù)據(jù)聚類，提出了一種基于分形維數(shù)和投影的選擇性聚類融合算法。該算法首先計算數(shù)據(jù)集的分形維數(shù)作為本質維數(shù)

6、，利用投影聚類算法實現(xiàn)數(shù)據(jù)集的降維、聚類;進而根據(jù)選擇出的最優(yōu)參照成員及設計的選擇策略選擇部分優(yōu)質的聚類成員;最后利用加權共協(xié)矩陣實現(xiàn)融合，獲得最終聚類結果。通過在UCI數(shù)據(jù)集上的對比實驗來驗證該文算法對于處理高維數(shù)據(jù)聚類問題的有效性;相比于其它聚類算法，聚類結果的準確性得到提高。
　　(5)根據(jù)以上的研究內容，結合項目需要，將選擇性聚類融合算法應用到氣象數(shù)據(jù)中，通過對氣象數(shù)據(jù)挖掘，根據(jù)聚類結果進行氣候區(qū)劃，將我國進行溫度帶劃分，