高維分類數(shù)據(jù)聚類方法研究與實現(xiàn).pdf

1、聚類分析作為一種無監(jiān)督的機器學習方法，根據(jù)一定的規(guī)則，將原本雜亂無章的數(shù)據(jù)分成一系列簇，使得每個簇由相似度較高的數(shù)據(jù)組成，這為后續(xù)的數(shù)據(jù)分析提供了極大的便利，被廣泛地應用于網(wǎng)絡服務、地理、生物、貿易等多個領域。但隨著數(shù)據(jù)產(chǎn)生渠道及數(shù)據(jù)收集技術的發(fā)展，用于分析的數(shù)據(jù)維度及復雜度也越來越大，傳統(tǒng)的數(shù)據(jù)聚類算法在這些數(shù)據(jù)集上無法取得較好的聚類結果。
　　軟子空間聚類作為高維數(shù)據(jù)聚類領域的一個研究熱點，受到人們越來越多的關注。但針對分類數(shù)

2、據(jù)，目前已有的軟子空間聚類算法大多都是基于k-modes算法的擴展，其數(shù)據(jù)間相似性的計算及屬性（也稱為特征）的權值計算都依賴類中心（modes）選擇，從而modes選的好壞直接影響了最終的聚類質量。同時，現(xiàn)有的軟子空間聚類算法在聚類時對缺失數(shù)據(jù)和完整數(shù)據(jù)不加以區(qū)分，也很大程度上影響了最終的聚類結果。
　　針對高維不完整的分類數(shù)據(jù)，本文將基于簇直方圖高寬比聚類思想的CLOPE算法應用于軟子空間聚類，并提出了一個新的軟子空間聚類算法。

3、首先，結合粗糙集提出了一個缺失數(shù)據(jù)處理方法，來處理數(shù)據(jù)集中的缺失數(shù)據(jù)，同時，根據(jù)屬性的平均互信息對屬性加權；然后，針對CLOPE算法的聚類質量受數(shù)據(jù)輸入順序影響的問題，提出了對數(shù)據(jù)完全隨機排序的―洗牌模型來最大程度消除數(shù)據(jù)輸入順序對最終聚類質量的影響；最后，利用Scala語言在Spark平臺上實現(xiàn)了該算法，使其能用于大規(guī)模數(shù)據(jù)的聚類。
　　本文選擇UCI中的真實數(shù)據(jù)作為本文的實驗數(shù)據(jù)，進行了4組實驗，分別用來驗證洗牌模型及屬性加權