基于遷移學(xué)習(xí)的半監(jiān)督聚類及其并行化實(shí)現(xiàn).pdf

1、聚類算法是機(jī)器學(xué)習(xí)中重要的算法之一，它能夠?qū)⑾嗨频奈矬w對(duì)象自動(dòng)的聚集為一個(gè)整體，進(jìn)一步從中找出隱含的有價(jià)值的信息。通常來說，聚類分析是一種無監(jiān)督方法，而半監(jiān)督學(xué)習(xí)則是將少量的已知信息用來指導(dǎo)聚類，以達(dá)到提升聚類性能的目的。
　　遷移學(xué)習(xí)是一種能夠運(yùn)用已有知識(shí)對(duì)其相關(guān)的領(lǐng)域問題進(jìn)行輔導(dǎo)和幫助的新機(jī)器學(xué)習(xí)方法，它常常用到文本分類、圖像識(shí)別等方面。
　　分布式計(jì)算是云計(jì)算中的一種方法，它能夠利用多臺(tái)普通的計(jì)算機(jī)組成的集群處理海量的

2、數(shù)據(jù)。其中，Spark是一種應(yīng)用十分廣泛的分布式計(jì)算計(jì)算框架，在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘中被廣泛應(yīng)用。
　　傳統(tǒng)聚類算法難以利用已有的歷史信息，尤其是數(shù)據(jù)被污染的情況下聚類結(jié)果不理想;半監(jiān)督聚類常用于數(shù)據(jù)中有部分標(biāo)簽的情況。本文在源數(shù)據(jù)有少量標(biāo)簽的情況下，提出半監(jiān)督模糊可能性C均值聚類算法(SS-FPCM);基于遷移學(xué)習(xí)框架，針對(duì)負(fù)遷移問題對(duì)算法進(jìn)行修正，提出了防止負(fù)遷移的半監(jiān)督遷移算法(TSS-FPCM);最后，為了充分借鑒源數(shù)據(jù)的信

3、息，利用“代表點(diǎn)”來代替源數(shù)據(jù)類信息，融入算法中再次遷移得到改善的半監(jiān)督遷移算法(ITSS-FPCM)。實(shí)驗(yàn)表明，3個(gè)算法能夠有效的利用源數(shù)據(jù)提高聚類性能。SS-FPCM與TSS-FPCM可以利用源數(shù)據(jù)的少量標(biāo)簽數(shù)據(jù)，而ITSS-FPCM算法結(jié)合了標(biāo)簽數(shù)據(jù)與“代表點(diǎn)”兩個(gè)有效信息，在數(shù)據(jù)信息匱乏、數(shù)據(jù)被污染的情況下得到較好的聚類結(jié)果。
　　我們收集的數(shù)據(jù)是不斷的在增長(zhǎng)的，當(dāng)源數(shù)據(jù)集越來越龐大時(shí)，傳統(tǒng)的算法難以快速的從海量的數(shù)據(jù)中得