半監(jiān)督判別分析方法研究.pdf

1、判別分析（Discriminant Analysis）是模式識別領(lǐng)域的重要研究內(nèi)容之一。過去幾十年來，判別分析在理論和應(yīng)用上均取得了很大進展。然而，在一些實際應(yīng)用中，當(dāng)沒有足夠多的有標(biāo)注訓(xùn)練數(shù)據(jù)時，判別分析的性能會迅速下降，甚至不能工作。而在圖像識別中，通?？梢院苋菀椎孬@取大量的未標(biāo)注數(shù)據(jù)。因此，同時利用有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)進行半監(jiān)督學(xué)習(xí)的方式近年來引起越來越強烈的關(guān)注。本文將判別分析與半監(jiān)督學(xué)習(xí)相結(jié)合，進行了有關(guān)半監(jiān)督判別分析的研究

2、。具體的工作如下：
　　1．研究了如何利用未標(biāo)注數(shù)據(jù)進行學(xué)習(xí)。并將其歸納成兩大類方法：基于正則化的方法和基于有標(biāo)注數(shù)據(jù)樣本擴充的方法。其中，第一類方法主要利用了數(shù)據(jù)的分布關(guān)系；第二類方法則是在有標(biāo)注數(shù)據(jù)指導(dǎo)下，將類別標(biāo)號由有標(biāo)注數(shù)據(jù)傳遞到未標(biāo)注數(shù)據(jù)，從而獲得更多類別的信息。
　　2．提出了基于譜的直推式有標(biāo)注樣本擴充方法。首先將訓(xùn)練數(shù)據(jù)采用圖模型表示，并假設(shè)數(shù)據(jù)的類別在圖上平滑變化。然后，根據(jù)有監(jiān)督信息建立正負約束矩陣，并利

3、用有標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)的關(guān)系，將譜的直推式形式化成為有約束的凸最優(yōu)化問題。為了有效求解，根據(jù)正交投影矩陣的性質(zhì)，將約束化簡，并進一步轉(zhuǎn)化成特征向量求解的問題，最終獲得解析解。最后，提出了可靠估計樣本的平衡選擇策略。通過在投影空間建立置信度函數(shù)，并選擇那些置信度較高的未標(biāo)注數(shù)據(jù)加入原始有標(biāo)注數(shù)據(jù)中，使得有標(biāo)注數(shù)據(jù)集合得到擴充。
　　3．對傳統(tǒng)判別分析框架進行了擴展，提出了具有局部保持特性的半監(jiān)督判別分析框架。首先，基于拉普拉斯的局

4、部保持特性，建立正則項。然后，在擴充后的有標(biāo)注樣本集合上進行正則化的判別分析，以保持所有樣本點在原始空間的局部幾何結(jié)構(gòu)。這樣，既增強了算法的推廣能力，同時在一定程度上避免了學(xué)習(xí)中過擬合問題的出現(xiàn)。
　　4．將提出的算法應(yīng)用到了實際的人臉識別任務(wù)上。我們的算法利用少量的有標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)進行學(xué)習(xí)，通過在CMU-PIE和AR人臉數(shù)據(jù)庫上的測試，表現(xiàn)出很好的性能，特別是在單幅有標(biāo)注圖像識別問題中，與經(jīng)典的人臉識別方法相比，識別率