基于遷移學(xué)習(xí)的半監(jiān)督聚類及其并行化實現(xiàn).pdf

1、聚類算法是機器學(xué)習(xí)中重要的算法之一，它能夠?qū)⑾嗨频奈矬w對象自動的聚集為一個整體，進一步從中找出隱含的有價值的信息。通常來說，聚類分析是一種無監(jiān)督方法，而半監(jiān)督學(xué)習(xí)則是將少量的已知信息用來指導(dǎo)聚類，以達到提升聚類性能的目的。
　　遷移學(xué)習(xí)是一種能夠運用已有知識對其相關(guān)的領(lǐng)域問題進行輔導(dǎo)和幫助的新機器學(xué)習(xí)方法，它常常用到文本分類、圖像識別等方面。
　　分布式計算是云計算中的一種方法，它能夠利用多臺普通的計算機組成的集群處理海量的

2、數(shù)據(jù)。其中，Spark是一種應(yīng)用十分廣泛的分布式計算計算框架，在機器學(xué)習(xí)和數(shù)據(jù)挖掘中被廣泛應(yīng)用。
　　傳統(tǒng)聚類算法難以利用已有的歷史信息，尤其是數(shù)據(jù)被污染的情況下聚類結(jié)果不理想;半監(jiān)督聚類常用于數(shù)據(jù)中有部分標(biāo)簽的情況。本文在源數(shù)據(jù)有少量標(biāo)簽的情況下，提出半監(jiān)督模糊可能性C均值聚類算法(SS-FPCM);基于遷移學(xué)習(xí)框架，針對負遷移問題對算法進行修正，提出了防止負遷移的半監(jiān)督遷移算法(TSS-FPCM);最后，為了充分借鑒源數(shù)據(jù)的信

3、息，利用“代表點”來代替源數(shù)據(jù)類信息，融入算法中再次遷移得到改善的半監(jiān)督遷移算法(ITSS-FPCM)。實驗表明，3個算法能夠有效的利用源數(shù)據(jù)提高聚類性能。SS-FPCM與TSS-FPCM可以利用源數(shù)據(jù)的少量標(biāo)簽數(shù)據(jù)，而ITSS-FPCM算法結(jié)合了標(biāo)簽數(shù)據(jù)與“代表點”兩個有效信息，在數(shù)據(jù)信息匱乏、數(shù)據(jù)被污染的情況下得到較好的聚類結(jié)果。
　　我們收集的數(shù)據(jù)是不斷的在增長的，當(dāng)源數(shù)據(jù)集越來越龐大時，傳統(tǒng)的算法難以快速的從海量的數(shù)據(jù)中得