半監(jiān)督聚類與分類算法研究.pdf

1、機器學(xué)習(xí)是人工智能的重要研究課題之一，已廣泛應(yīng)用于自然語言處理、生物特征識別、計算機視覺和手寫數(shù)字識別等領(lǐng)域。傳統(tǒng)的機器學(xué)習(xí)包括有監(jiān)督和無監(jiān)督兩種學(xué)習(xí)方式。監(jiān)督學(xué)習(xí)需要大量的標(biāo)記樣本以學(xué)習(xí)一個好的分類器，并利用該分類器對未見樣本進(jìn)行類別判斷和預(yù)測。但是當(dāng)標(biāo)記樣本較少時，所獲得分類器的泛化能力往往較差，而且樣本的標(biāo)記過程既耗時又費力。而無監(jiān)督學(xué)習(xí)由于沒有標(biāo)記樣本導(dǎo)致了學(xué)習(xí)過程的盲目性，可能無法取得理想的結(jié)果。因此，如何充分利用少量的標(biāo)記樣

2、本和大量的未標(biāo)記樣本獲得較好的學(xué)習(xí)器，即半監(jiān)督學(xué)習(xí)，己成為機器學(xué)習(xí)中最受關(guān)注的方向之一。
　　半監(jiān)督學(xué)習(xí)包含半監(jiān)督聚類、半監(jiān)督分類和半監(jiān)督回歸三種學(xué)習(xí)方式，本文在分析了半監(jiān)督學(xué)習(xí)算法的研究現(xiàn)狀及存在問題的基礎(chǔ)上，對半監(jiān)督聚類和分類算法進(jìn)行了研究。
　　首先，將流形假設(shè)引入到半監(jiān)督聚類算法中，提出了一種基于流形結(jié)構(gòu)的半監(jiān)督混合高斯模型，該算法依據(jù)標(biāo)記和未標(biāo)記樣本的局部一致性，利用Kullback-Leibler散度構(gòu)建近鄰圖以

3、挖掘出樣本的內(nèi)在流形結(jié)構(gòu)，并將流形結(jié)構(gòu)以圖正則化的形式與先驗信息分別加入到混合高斯模型的目標(biāo)函數(shù)中，最后通過EM算法求解獲得最優(yōu)參數(shù)。在仿真和實際數(shù)據(jù)上的實驗結(jié)果表明了本算法的有效性，同時在圖像分割上的實驗進(jìn)一步說明了本算法具有一定的實用性。
　　其次，考慮到核最小平方誤差算法的性能嚴(yán)重依賴于標(biāo)記樣本的數(shù)量，因此本文將流形假設(shè)應(yīng)用于該算法中，提出了一種基于拉普拉斯正則化的半監(jiān)督核最小平方誤差算法。通過構(gòu)造近鄰圖挖掘出標(biāo)記和未標(biāo)記樣

4、本的內(nèi)在流形結(jié)構(gòu)，并采用圖拉普拉斯算子構(gòu)建流形正則項，嵌入到核最小平方誤差算法的目標(biāo)函數(shù)中，從而實現(xiàn)半監(jiān)督分類算法。在標(biāo)準(zhǔn)數(shù)據(jù)集和人臉識別上的實驗結(jié)果表明本算法能有效地處理標(biāo)記樣本較少的問題，同時獲得一個較好的分類器。
　　然后，提出了一種基于聚類分析的自訓(xùn)練分類算法，該算法將聚類算法嵌入到自訓(xùn)練分類算法中，其基本思想是利用半監(jiān)督聚類算法盡量挖掘出標(biāo)記和未標(biāo)記樣本的結(jié)構(gòu)信息，并結(jié)合所得到的結(jié)構(gòu)信息預(yù)選擇出高置信度樣本，然后用判別式

5、分類器從預(yù)選擇樣本集中選擇高置信度樣本。相比于自訓(xùn)練分類算法，本算法一定程度上彌補了僅用標(biāo)記樣本帶來的信息不足。仿真實驗表明，當(dāng)標(biāo)記樣本覆蓋的空間與真實數(shù)據(jù)空間不一致時，本算法能獲得較好的泛化能力。實際數(shù)據(jù)的實驗結(jié)果更進(jìn)一步說明了本算法的有效性和魯棒性。
　　最后，提出了一種基于半監(jiān)督降維技術(shù)和仿射傳播算法的自訓(xùn)練分類算法，該算法將降維方法嵌入到自訓(xùn)練分類算法中，采用半監(jiān)督降維技術(shù)能有效地解決標(biāo)記樣本較少情況下數(shù)據(jù)的維數(shù)災(zāi)難問題，