基于半監(jiān)督學(xué)習(xí)的分布式和演化聚類研究.pdf

1、傳統(tǒng)聚類分析是一種無(wú)監(jiān)督學(xué)習(xí)方法，聚類過(guò)程僅僅使用了無(wú)標(biāo)記數(shù)據(jù)，忽略了數(shù)據(jù)集自然存在的各種先驗(yàn)信息。然而，半監(jiān)督聚類則在使用無(wú)標(biāo)記數(shù)據(jù)進(jìn)行聚類分析時(shí)，將數(shù)據(jù)集中的先驗(yàn)信息引入到聚類過(guò)程以改善聚類的執(zhí)行?，F(xiàn)有的大多數(shù)半監(jiān)督聚類方法往往假定數(shù)據(jù)以集中方式存儲(chǔ)于一個(gè)中心站點(diǎn)，同時(shí)隱含假設(shè)所處理的樣本個(gè)數(shù)和樣本服從的概率分布不會(huì)隨著時(shí)間的推移而發(fā)生變化。但是，在數(shù)據(jù)挖掘的許多實(shí)際應(yīng)用中廣泛存在著分布式數(shù)據(jù)集和動(dòng)態(tài)演變數(shù)據(jù)集這兩種特定的數(shù)據(jù)形式。

2、在分布式場(chǎng)景下，數(shù)據(jù)集自然分布于多個(gè)站點(diǎn)，受數(shù)據(jù)安全、數(shù)據(jù)隱私、通訊代價(jià)等因素的限制，站點(diǎn)數(shù)據(jù)無(wú)法集中存儲(chǔ)于一個(gè)站點(diǎn)。對(duì)于動(dòng)態(tài)演變數(shù)據(jù)，聚類的目的是要產(chǎn)生一個(gè)隨時(shí)間變化的聚類序列，聚類序列中的每一個(gè)聚類結(jié)果需要同時(shí)滿足兩個(gè)標(biāo)準(zhǔn):對(duì)當(dāng)前時(shí)段的數(shù)據(jù)應(yīng)當(dāng)具有較高的聚類質(zhì)量;與先前時(shí)段的聚類結(jié)果較為相似。
　　本文的研究工作包括兩部分:第一部分重點(diǎn)研究了當(dāng)數(shù)據(jù)集合以水平分布方式存儲(chǔ)時(shí)，使用并行k-means和分布式EM作為基本算法的半監(jiān)督

3、分布式聚類框架;第二部分則將約束并行k-means和基于約束的分布式EM思想擴(kuò)展應(yīng)用于演化數(shù)據(jù)集，實(shí)現(xiàn)了基于約束聚類框架的演化聚類。本文的主要研究成果包括:
　　1、提出了以并行k-means為基本算法的三種分布式半監(jiān)督聚類框架。(1)啟發(fā)式分布k-means算法將已有的站點(diǎn)局部聚類結(jié)果作為先驗(yàn)信息，其最大優(yōu)點(diǎn)在于能夠改善并行k-means算法對(duì)初始中心的依賴。(2)基于約束的并行k-means算法(CPKM)以并行k-means

4、算法為基礎(chǔ)，以站點(diǎn)用戶提供的成對(duì)約束為先驗(yàn)信息，改善了并行k-means收斂于局部最優(yōu)的缺陷;進(jìn)而通過(guò)使用成對(duì)樣本的均值中心來(lái)估計(jì)這些約束樣本的簇指派方案，避免了約束樣本的簇指派方案依賴于約束樣本排列順序的不足。(3)軟約束分布式k-means算法(DBSC)仍然使用成對(duì)約束作為先驗(yàn)信息，但是樣本間的約束關(guān)系為軟約束，這意味著允許約束信息中存在錯(cuò)誤約束。CPKM通過(guò)定義約束違反權(quán)重，有差別地處理約束違反，能夠有效利用這些約束信息來(lái)改善分

5、布式聚類精度。
　　2、將成對(duì)約束信息以軟約束的形式引入高斯混合模型(GMM)，提出了約束一致高斯混合模型(CCGMM)，并將CCGMM模型進(jìn)一步擴(kuò)展為基于約束一致的分布式高斯混合模型(DCCGMM)，以用于分布式數(shù)據(jù)的半監(jiān)督聚類。(1)CCGMM模型的主要特點(diǎn)包括:估計(jì)參數(shù)同時(shí)反映了數(shù)據(jù)的固有分布和用戶的先驗(yàn)信息;參數(shù)估計(jì)的迭代公式有封閉的解析表達(dá)式。(2)DCCGMM模型在使用分布式EM作為迭代框架來(lái)估計(jì)全局模型參數(shù)時(shí)，只使用

6、了各站點(diǎn)的局部模型參數(shù)，站點(diǎn)數(shù)據(jù)和約束信息僅限于本站點(diǎn)使用。
　　3、通過(guò)分析最大化對(duì)數(shù)似然與標(biāo)準(zhǔn)k-means目標(biāo)函數(shù)的內(nèi)在關(guān)聯(lián)，以MPCK-MEANS算法為基礎(chǔ)，提出了一種在分布式環(huán)境下同時(shí)進(jìn)行約束聚類和局部距離學(xué)習(xí)的半監(jiān)督分布式聚類框架。
　　4、將先前聚類結(jié)果視為當(dāng)前數(shù)據(jù)樣本的先驗(yàn)信息，提出了兩種基于約束聚類方法的演化聚類框架。兩種演化聚類框架均以約束違反的形式定義歷史代價(jià)，以實(shí)現(xiàn)聚類序列的時(shí)序平滑。(1)基于約束k