流形學(xué)習(xí)與半監(jiān)督學(xué)習(xí)在特征抽取中的應(yīng)用研究.pdf

1、人臉識(shí)別已成為機(jī)器學(xué)習(xí)、模式識(shí)別和機(jī)器視覺等研究領(lǐng)域的熱點(diǎn)問題，在商業(yè)、公安系統(tǒng)等領(lǐng)域中更有著廣泛的應(yīng)用。特征抽取一直是人臉識(shí)別研究的一個(gè)基本問題，如何從高維數(shù)據(jù)中找到一個(gè)有意義的更低維表示是特征抽取的關(guān)鍵所在。近年來的研究表明，旨在保留原始數(shù)據(jù)中的內(nèi)在局部鄰域信息的流形學(xué)習(xí)方法適于處理人臉這類非線性結(jié)構(gòu)數(shù)據(jù)，同時(shí)一些利用大量無類別標(biāo)簽樣本和少量有類別標(biāo)簽樣本來提升學(xué)習(xí)性能的半監(jiān)督學(xué)習(xí)引起了廣泛關(guān)注。但是這些算法在實(shí)際應(yīng)用中仍然存在諸多

2、不足。本文在深入研究流形學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的基礎(chǔ)上提出了一些改進(jìn)算法，并在一些通用人臉圖像數(shù)據(jù)庫中驗(yàn)證了算法的有效性，同時(shí)設(shè)計(jì)并實(shí)現(xiàn)了人臉識(shí)別原型系統(tǒng)，將現(xiàn)有的圖像處理算法即經(jīng)典的人臉識(shí)別算法應(yīng)用于實(shí)際中。
　　 本文主要工作包括以下五個(gè)方面：
　　 1、核監(jiān)督鑒別投影分析(Kernel Supervised Discriminant Projection Analysis)
　　 核方法(Kernel Metho

3、d)通過非線性映射使得原始空間中非線性可分的數(shù)據(jù)在特征空間中盡可能地線性可分，然而它沒有完全考慮數(shù)據(jù)集的局部性質(zhì)同時(shí)其所帶來的計(jì)算復(fù)雜性仍然是一個(gè)問題。無監(jiān)督鑒別投影(Unsupervised DiscriminantProjection，UDP)這一流形學(xué)習(xí)算法有效地利用了數(shù)據(jù)集的局部和非局部性質(zhì)，但是本質(zhì)上沒有利用樣本數(shù)據(jù)的類別信息。為了解決核方法和無監(jiān)督鑒別投影(UDP)存在的問題，提出了一種核監(jiān)督鑒別投影分析方法。該方法首先將訓(xùn)

4、練樣本通過一個(gè)核函數(shù)非線性映射到高維特征空間，在該特征空間中考慮了數(shù)據(jù)的局部和非局部性質(zhì)以及類別信息。因此，該方法不僅保留了數(shù)據(jù)的局部鄰域信息，而且能夠抽取更有利于分類的非線性鑒別特征。在Yale人臉數(shù)據(jù)庫上的實(shí)驗(yàn)驗(yàn)證了該算法的有效性。
　　 2、基于局部和非局部均值的無監(jiān)督鑒別分析(Unsupervised DiscriminantAnalysis Based on the Local and Non-local Mean)<

5、br>　　 考慮到無監(jiān)督鑒別投影(UDP)很容易受到離群點(diǎn)的影響，同時(shí)無監(jiān)督鑒別投影(UDP)的計(jì)算時(shí)間較長。提出了一種基于局部和非局部均值的無監(jiān)督鑒別分析特征抽取方法，該方法利用局部和非局部均值來構(gòu)造局部和非局部散度，從而在某種程度上克服了離群點(diǎn)所帶來的鑒別困難。此外，與無監(jiān)督鑒別投影相比，該方法的計(jì)算時(shí)間也有提高。在Yale、ORL和AR人臉數(shù)據(jù)庫上的實(shí)驗(yàn)驗(yàn)證了算法的有效性。
　　 3、基于局部均值的廣義散度差無監(jiān)督鑒別分

6、析(Local Mean Based GeneralizedScatter Difference Unsupervised Discriminant Analysis)
　　 無監(jiān)督鑒別投影(LIDP)考慮了數(shù)據(jù)集的局部和非局部特征，但是在人臉識(shí)別應(yīng)用中不可避免地會(huì)出現(xiàn)“高維小樣本問題”。由于最大散度差鑒別準(zhǔn)則是對Fisher鑒別準(zhǔn)則的改進(jìn)，從理論上消除了“高維小樣本問題”。因此提出了一種基于局部均值的廣義散度差無監(jiān)督鑒別分析方

7、法，該方法利用局部和非局部均值構(gòu)造局部和非局部散度，再利用樣本的非局部均值散度與C倍的局部均值散度之差作為鑒別函數(shù)準(zhǔn)則，不僅保留了樣本分布的局部信息，而且從本質(zhì)上克服了“高維小樣本問題”。在Yale和FERET人臉數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。
　　 4、基于馬氏距離的半監(jiān)督鑒別分析(Mahalanobis Distance-based Semi-supervisedDiscriminant Analysis)

8、　　 針對人臉識(shí)別應(yīng)用中人臉樣本的類別信息不足以及人臉樣本特征間存在相關(guān)性的問題，提出了一種基于馬氏距離的半監(jiān)督鑒別分析。該方法在圖嵌入框架下利用馬氏距離對數(shù)據(jù)集中帶有類別信息的樣本進(jìn)行邊界Fisher分析(Marginal FisherAnalysis，MFA)，不僅保持了類內(nèi)的緊密性和類間的分離性，而且能夠抽取出有利于分類的鑒別特征，同時(shí)將不帶類別信息的樣本用于描述數(shù)據(jù)集的幾何結(jié)構(gòu)，保留了樣本間的局部鄰域信息。與傳統(tǒng)的特征抽取方法

9、相比，該方法有較好的識(shí)別性能，在ORL、Yale和AR人臉數(shù)據(jù)庫上的實(shí)驗(yàn)驗(yàn)證了該方法的有效性。
　　 5、局部相關(guān)性的半監(jiān)督鑒別分析(Local Correlation Semi-supervised DiscriminantAnalysis)
　　 線性鑒別分析(Linear Discriminant Analysis，LDA)是一類有監(jiān)督的線性特征抽取算法，由于利用了數(shù)據(jù)集中的類別信息，因此有較好的分類效果。邊界Fi

10、sher分析(MFA)是基于流形學(xué)習(xí)的有監(jiān)督特征抽取算法，通過構(gòu)造類內(nèi)近鄰圖和類間近鄰圖，以達(dá)到同類樣本盡可能地內(nèi)聚，不同類樣本分離。但是隨著數(shù)據(jù)集中帶類別信息樣本的數(shù)量減少，LDA和MFA的性能將會(huì)降低，同時(shí)傳統(tǒng)的歐式距離難以描述樣本間的相似性。因此提出了一種局部相關(guān)性的半監(jiān)督鑒別分析，該方法根據(jù)樣本間的相似性構(gòu)造類內(nèi)相似性圖和類間相似性圖，然后建立新的鑒別準(zhǔn)則用以分離每一樣本點(diǎn)鄰域內(nèi)K1個(gè)相似性最小的同類樣本和K2個(gè)相似性最大的不同