半監(jiān)督聚類與分類算法研究.pdf

1、機器學習是人工智能的重要研究課題之一，已廣泛應(yīng)用于自然語言處理、生物特征識別、計算機視覺和手寫數(shù)字識別等領(lǐng)域。傳統(tǒng)的機器學習包括有監(jiān)督和無監(jiān)督兩種學習方式。監(jiān)督學習需要大量的標記樣本以學習一個好的分類器，并利用該分類器對未見樣本進行類別判斷和預測。但是當標記樣本較少時，所獲得分類器的泛化能力往往較差，而且樣本的標記過程既耗時又費力。而無監(jiān)督學習由于沒有標記樣本導致了學習過程的盲目性，可能無法取得理想的結(jié)果。因此，如何充分利用少量的標記樣

2、本和大量的未標記樣本獲得較好的學習器，即半監(jiān)督學習，己成為機器學習中最受關(guān)注的方向之一。
　　半監(jiān)督學習包含半監(jiān)督聚類、半監(jiān)督分類和半監(jiān)督回歸三種學習方式，本文在分析了半監(jiān)督學習算法的研究現(xiàn)狀及存在問題的基礎(chǔ)上，對半監(jiān)督聚類和分類算法進行了研究。
　　首先，將流形假設(shè)引入到半監(jiān)督聚類算法中，提出了一種基于流形結(jié)構(gòu)的半監(jiān)督混合高斯模型，該算法依據(jù)標記和未標記樣本的局部一致性，利用Kullback-Leibler散度構(gòu)建近鄰圖以

3、挖掘出樣本的內(nèi)在流形結(jié)構(gòu)，并將流形結(jié)構(gòu)以圖正則化的形式與先驗信息分別加入到混合高斯模型的目標函數(shù)中，最后通過EM算法求解獲得最優(yōu)參數(shù)。在仿真和實際數(shù)據(jù)上的實驗結(jié)果表明了本算法的有效性，同時在圖像分割上的實驗進一步說明了本算法具有一定的實用性。
　　其次，考慮到核最小平方誤差算法的性能嚴重依賴于標記樣本的數(shù)量，因此本文將流形假設(shè)應(yīng)用于該算法中，提出了一種基于拉普拉斯正則化的半監(jiān)督核最小平方誤差算法。通過構(gòu)造近鄰圖挖掘出標記和未標記樣

4、本的內(nèi)在流形結(jié)構(gòu)，并采用圖拉普拉斯算子構(gòu)建流形正則項，嵌入到核最小平方誤差算法的目標函數(shù)中，從而實現(xiàn)半監(jiān)督分類算法。在標準數(shù)據(jù)集和人臉識別上的實驗結(jié)果表明本算法能有效地處理標記樣本較少的問題，同時獲得一個較好的分類器。
　　然后，提出了一種基于聚類分析的自訓練分類算法，該算法將聚類算法嵌入到自訓練分類算法中，其基本思想是利用半監(jiān)督聚類算法盡量挖掘出標記和未標記樣本的結(jié)構(gòu)信息，并結(jié)合所得到的結(jié)構(gòu)信息預選擇出高置信度樣本，然后用判別式

5、分類器從預選擇樣本集中選擇高置信度樣本。相比于自訓練分類算法，本算法一定程度上彌補了僅用標記樣本帶來的信息不足。仿真實驗表明，當標記樣本覆蓋的空間與真實數(shù)據(jù)空間不一致時，本算法能獲得較好的泛化能力。實際數(shù)據(jù)的實驗結(jié)果更進一步說明了本算法的有效性和魯棒性。
　　最后，提出了一種基于半監(jiān)督降維技術(shù)和仿射傳播算法的自訓練分類算法，該算法將降維方法嵌入到自訓練分類算法中，采用半監(jiān)督降維技術(shù)能有效地解決標記樣本較少情況下數(shù)據(jù)的維數(shù)災難問題，