畢業(yè)設計---基于核化mmc的人臉識別系統(tǒng)

1、<p>　　基于核化MMC的人臉識別系統(tǒng)</p><p><b>　　摘 要</b></p><p>　　人臉識別是模式識別研究領(lǐng)域中一個較為熱的研究方向。在實際應用中，人臉往往看成高維數(shù)據(jù)，因此會遇到維數(shù)災難問題，此時需要通過數(shù)據(jù)降維進行特征提取，即將原始數(shù)據(jù)對應的高維空間數(shù)據(jù)映射到低維空間中，并盡可能地保持數(shù)據(jù)間的判別信息，以利于分類問題。<

2、/p><p>　　論文首先對人臉識別進行簡單介紹和概述，將眾多人臉識別分為幾類，基于核化最大間距準則算法（KMMC）采用非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到高維特征空間，然后再在特征空間中進行了相應的線性操作，該特征提取方法消除了核鑒別矢量間的統(tǒng)計相關(guān)性，提高了特征提取的有效性，通過在ORL人臉庫上進行試驗，結(jié)果表明提出的特征提取方法在人臉識別中的有效性。</p><p>　　關(guān)鍵詞：人臉識別

3、；降維；KMMC</p><p>　　Kernel MMC Based Face Recognition Algorithms System</p><p><b>　　Abstract</b></p><p>　　Face recognition is one of the hottest research topics in pattern

4、 recognition. In practical applications, the face’s image are high-dimensional, which will encounter ‘the curse of dimensionality’, and in such cases, there is a great need to use dimensionality reduction method to extra

5、ct features. That is to say, the high dimensional data are mapped into lower dimensional ones, meanwhile the discriminant information are preserved as much as possible, which helps for classification.</p><p>

6、;　　Firstly, some basics about face recognition are introduced and surveyed. The kernel maximum margin criterion(KMMC) algorithm is non-linear mapping to the original data from the data space is mapped into high dimension

7、al feature space, Then in the feature space corresponding linear operation, the method is powerful in eliminating the statistical correlation between feature vectors and improving efficiency of feature extraction in the

8、high dimensional feature space. The experimental results on Oli</p><p>　　Keywords：Face recognition; Dimension reduction; kernel maximum margin criterion(KMMC)</p><p><b>　　目 錄</b>&

9、lt;/p><p><b>　　引 言1</b></p><p><b>　　第1章 緒論2</b></p><p>　　1.1 人臉識別的研究意義2</p><p>　　1.2 人臉識別的研究現(xiàn)狀2</p><p>　　1.3 人臉識別的應用3</p>

10、<p>　　1.4 人臉識別的研究內(nèi)容3</p><p>　　1.5 人臉識別存在的問題4</p><p>　　1.6 本文的研究內(nèi)容及組織結(jié)構(gòu)5</p><p>　　第2章 人臉識別概述6</p><p>　　2.1 基于幾何特征的人臉識別6</p><p>　　2.2 基于彈性圖匹配的人臉識別

11、6</p><p>　　2.3 基于神經(jīng)網(wǎng)絡的人臉識別6</p><p>　　2.4 基于模板匹配的方法7</p><p>　　2.5 基于隱馬爾可夫方法7</p><p>　　2.6 基于貝葉斯網(wǎng)絡的人臉識別7</p><p>　　2.7 基于核方法的人臉識別8</p><p>　

12、　2.8 本章小結(jié)9</p><p>　　第3章 數(shù)據(jù)降維算法概述10</p><p>　　3.1 線性降維算法10</p><p>　　3.1.1 主成分分析10</p><p>　　3.1.2 線性判別分析11</p><p>　　3.2 非線性降維算法12</p><p>　　

13、3.2.1 等度映射12</p><p>　　3.2.2 局部線性嵌入13</p><p>　　3.2.3 拉普拉斯映射13</p><p>　　3.2.4 基于核技巧的非線性降維算法14</p><p>　　3.3 流行學習算法的幾個線性化算法14</p><p>　　3.4 本章小結(jié)15</p&g

14、t;<p>　　第4章 基于核方法的最大間距準則算法16</p><p><b>　　4.1 引言16</b></p><p>　　4.2 算法推導16</p><p>　　4.2.1 KPCA算法16</p><p>　　4.2.2 MMC方法18</p><p>　　4

15、.2.3 KMMC算法20</p><p>　　4.3 系統(tǒng)功能及實現(xiàn)22</p><p>　　4.3.1 系統(tǒng)基本功能流程22</p><p>　　4.3.2 系統(tǒng)演示說明25</p><p>　　4.4 計算機仿真算法描述與實驗結(jié)果29</p><p>　　4.4.1 實驗參數(shù)描述29</p>

16、;<p>　　4.4.2 算法描述29</p><p>　　4.4.3 實驗與實驗結(jié)果30</p><p>　　4.5 本章小結(jié)34</p><p><b>　　結(jié)論與展望35</b></p><p><b>　　致 謝36</b></p><p>

17、<b>　　參考文獻37</b></p><p>　　附 錄A 外文文獻及譯文38</p><p>　　附 錄B 參考文獻的題錄及摘要51</p><p>　　附 錄C 程序源代碼55</p><p><b>　　插圖清單</b></p><p>　　圖

18、1-1 人臉自動識別系統(tǒng)的主要環(huán)節(jié)4</p><p>　　圖 3-1 歐式距離（虛線），測地線距離和最短路徑距離比較12</p><p>　　圖 4-1 二維空間中的四個類及其邊緣距離19</p><p>　　圖 4-2 人臉識別模塊流程圖23</p><p>　　圖 4-3 人臉檢測模塊流程圖24</p><p

19、>　　圖 4-4 系統(tǒng)總體流程圖25</p><p>　　圖 4-5 系統(tǒng)啟動畫面26</p><p>　　圖 4-6 人臉識別功能圖126</p><p>　　圖 4-7 人臉識別功能圖227</p><p>　　圖 4-8 人臉識別功能圖327</p><p>　　圖 4-9 人臉識別功能圖428

20、</p><p>　　圖 4-10 人臉檢測功能圖128</p><p>　　圖 4-11 人臉檢測功能圖229</p><p>　　圖 4-12 人臉庫部分圖像29</p><p>　　圖 4-13 基于核最大間距準則的算法框圖30</p><p>　　圖 4-14 主分量數(shù)對識別性能的影響31</p

21、><p>　　圖 4-15 主分量數(shù)對識別時間的影響31</p><p>　　圖 4-15 x=5時識別率與降維關(guān)系圖33</p><p>　　圖 4-16 x=7時識別率與降維關(guān)系圖34</p><p><b>　　表格清單</b></p><p>　　表 4-1 x=5時識別率與降維關(guān)

22、系表32</p><p>　　表 4-2 x=7時識別率與降維關(guān)系表33</p><p>　　表 4-3 KMMC，KPCA兩種方法所達最佳的識別率34</p><p><b>　　引 言</b></p><p>　　人臉識別是生物特征識別技術(shù)的一種，生物特征識別是根據(jù)生物體自身特征利用計算機進行身份識別的一

23、種技術(shù)。常用的生物特征有，DNA、虹膜、指紋、掌紋、語音、人臉等。與其它生物特征相比，人臉具有很強的自身穩(wěn)定性和個體差異性，人臉識別更為直接、友好、符合人類認知習慣、容易被人接受，因此有著廣闊的應用前景。</p><p>　　人臉識別是計算機視覺和模式識別領(lǐng)域中的一個難題，它涉及到信號處理、圖像處理、模式識別、神經(jīng)網(wǎng)絡、認知科學、心理學和生理學等諸多學科，在過去的十多年中受到研究人員的廣泛重視，研究也越來越深入，

24、但是由于人臉識不同于一般的目標識別，其難度極大，人臉識別技術(shù)還不夠完善，應用工作還處于嘗試階段。</p><p>　　人臉識別的困難行表項在：人臉結(jié)構(gòu)大體相同，所不同的是一些細節(jié)上的差異；人臉不是純粹的剛體，具有復雜而豐富的表情（喜怒哀樂等）；人臉隨著年齡增長會呈現(xiàn)出很大的不同；由于外界環(huán)境的影響，例如眼鏡、光照條件、成像角度、以及成像距離等因素的影響，使得同一個人的人臉圖像在不同的條件下呈現(xiàn)出很大的差異。目前尚

25、沒有很好的描述人臉的三維模型。諸多因素使得人臉識別成為計算機視覺領(lǐng)域一個富有挑戰(zhàn)性的課題。</p><p>　　論文對目前比較流行的降維算法進行了介紹，主要從兩方面出發(fā)：1）線性化算法、比如 PCA; 2）非線性化算法，主要是基于核技巧的算法，比如KPCA 。在這些基礎(chǔ)上，學習和研究了基于核化最大間距準則算法，并通過實驗仿真驗證了算法的正確性和有效性，實驗表明比經(jīng)典算法 PCA、KPCA 和MMC有更高的識別率。

26、</p><p><b>　　。</b></p><p><b>　　緒論</b></p><p><b>　　人臉識別的研究意義</b></p><p>　　近幾年來，隨著計算機網(wǎng)絡技術(shù)的高速發(fā)展和信息化進程的日益加快，信息安全</p><p>　　和

27、公共安全越來越顯示出其前所未有的重要性，成為了許多信息系統(tǒng)要首先考慮的問題。人臉識別作為一種非接觸、隱蔽性較好的生物特征識別技術(shù)而受到極大的關(guān)注。在公安部門、海關(guān)部門、視頻會議、小區(qū)和銀行監(jiān)控等領(lǐng)域有著很高的應用價值。并且人臉識別是一項復雜的工作，涉及到模式識別、圖像處理、計算機視覺、認知學等領(lǐng)域，因此對人臉識別的研究有助于其它領(lǐng)域的發(fā)展，具有重要的學術(shù)價值。</p><p><b>　　人臉識別的研究

28、現(xiàn)狀</b></p><p>　　人臉識別最早可以追溯到十九世紀八十年代年，但人臉識別的真正研究起始于二十世紀六十年代末，Bledsoe 等人以人臉特征點的間距、比率等參數(shù)為特征，建成了一個半自動化的人臉識別系統(tǒng)，但因受到技術(shù)條件限制發(fā)展緩慢。從二十世紀六十年代末至今，人臉識別算法技術(shù)的發(fā)展大體可以分為如下四個階段:</p><p>　　1)基于簡單背景的人臉識別階段：這是人臉

29、識別研究的初級階段，它從二十世紀六十年代開始，通常利用人臉器官的局部特征來描述人臉，但是由于人臉器官沒有顯著的邊緣且比較易受到表情的影響，因此它僅限于正面人臉(變形很小)的識別。</p><p>　　2)基于多姿態(tài)/表情的人臉識別階段：這是人臉識別研究的發(fā)展階段，它從二十世紀七十年代開始末，但到九十年代年代初才被人們真正關(guān)注并進行專門研究，并得到較快發(fā)展。</p><p>　　3)動態(tài)跟蹤

30、人臉識別階段：這是人臉識別研究的實用化階段，從二十世紀九十年代末開始，特別是”9.11”事件促進了動態(tài)人臉跟蹤技術(shù)的快速發(fā)展，同時也促進了其他生物特征識別技術(shù)的發(fā)展。</p><p>　　4)三維人臉識別階段：為了獲得更多的特征信息，直接就利用二維人臉圖像來合成三維人臉模型進行識別，也成為該領(lǐng)域的一個主要研究方向，現(xiàn)有研究將兩維圖像重構(gòu)三維圖像，這也是一個研究方向。</p><p>　　當

31、前，雖然人臉識別技術(shù)的應用還沒有能夠做到“普及”，但是不能否認的是，它已經(jīng)在開始影響著我們的生活。</p><p>　　近幾年來，國內(nèi)外學者對人臉識別技術(shù)做了大量研究。在國際上，主要有北美的一些研究機構(gòu)、一些歐洲國家、日本等，著名的研究機構(gòu)有美國 MIT 的多媒體實驗室，人工智能實驗室，CMU 的人機交互機構(gòu)，微軟研究遠，英國劍橋大學的工程學院等。綜合有關(guān)文獻，目前的人臉識別方法主要集中在以下幾個方面: 基于幾何

32、特征的人臉識別，基于子空間的人臉識別，基于彈性圖匹配的人臉識別，基于神經(jīng)網(wǎng)絡方面的人臉識別，基于模板匹配方面的人臉識別方法，基于隱馬爾可夫方面的人臉識別方法以及基于貝葉斯網(wǎng)路的人臉識別算法。</p><p>　　國內(nèi)的研究者關(guān)于人臉自動識別的研究始于 20 世紀八十年代，主要的研究單位有南京理工大學、清華大學，哈爾濱工業(yè)大學，香港理工大學、中科院計算所，中科院自動化所，中科大等，并都取得了一定的成果。</p

33、><p><b>　　人臉識別的應用</b></p><p>　　隨著人臉識別技術(shù)的發(fā)展以及人臉識別技術(shù)應用范圍空間的不斷拓寬，人臉識別技術(shù)在各個領(lǐng)域上的應用空間己經(jīng)越來越廣泛，歸納起來，人臉識別技術(shù)的應用大體上可以分為以下幾類:</p><p><b>　　1.證件驗證</b></p><p>　　在

34、許多場合，證件驗證是檢驗某個人身份的一種常用手段，而身份證、駕駛執(zhí)照以及其他很多證件上都有照片，那么這項工作就可以交給機器完成，用以實現(xiàn)自動化智能管理。</p><p><b>　　2.刑偵破案</b></p><p>　　公安部門通常在檔案系統(tǒng)中存儲有嫌疑犯的照片，可以從數(shù)據(jù)庫里迅速查找確認，這就大大提高了刑偵破案的準確性和效率。</p><p&

35、gt;<b>　　3.視頻監(jiān)視</b></p><p>　　在許多銀行、公司、公共場所等處都裝有視頻監(jiān)視系統(tǒng)。當出現(xiàn)異常的時候需要對采集到的圖像進行具體分析，就要用到人臉的檢測、跟蹤和識別技術(shù)。</p><p><b>　　4.入口控制</b></p><p>　　入口控制的范圍比較廣泛，它可能是設在需要的地方進行安全檢查

36、，也可能是計算機系統(tǒng)或情報系統(tǒng)的入口控制。</p><p>　　5.另外，人臉識別在醫(yī)學、人機交互系統(tǒng)等方面也具有巨大的應用前景。</p><p>　　以上所說的應用基本又可以分為兩類:靜態(tài)(非視頻)匹配和動態(tài)(視頻)匹配。嫌疑犯查找是靜態(tài)匹配中的最常見的應用。很顯然，在嫌疑犯照片的拍攝過程中，一般來說可以控制照相的背景、光照的條件、攝像機的分辨率以及攝像機與被拍照人之間的距離、角度等等，

37、獲得到多幅人臉正面圖像和側(cè)面圖像。在這些條件約束下來獲取圖像，可簡化人臉分割和識別算法。公眾場合監(jiān)控也就是典型的動態(tài)匹配應用。通過攝像機得到的視頻圖像質(zhì)量一般都比較差，同時背景也比較雜亂，分割人臉也就相當困難，但是可以利用運動圖像分析來分割運動者的人臉，也可以利用現(xiàn)有的人臉模型，在部分上重建人臉圖像，在某種程度上會比靜態(tài)匹配更方便容易解決。這方面應用的難點是需要實時處理。</p><p><b>　　人

38、臉識別的研究內(nèi)容</b></p><p>　　人臉識別的研究內(nèi)容從廣義上來講大致上包括以下五個方面的內(nèi)容：</p><p>　　1．人臉檢測：要從各種不同的場景中檢測出人臉的存在并確定其位置。這一任務主要受到光照、噪聲、面部傾斜度以及各種各樣遮擋等方面的影響。</p><p>　　2．人臉表征：通過采取某種表示方式表示檢測出的人臉和數(shù)據(jù)庫中的已知人臉。&

39、lt;/p><p>　　通常的表示法主要有幾何特征(如歐氏距離、曲率、角度)、代數(shù)特征(如矩陣特征矢量)、固定特征模板、統(tǒng)計特征等。</p><p>　　3．人臉鑒別：通過將待識別的人臉與數(shù)據(jù)庫中的己知人臉比較，得出比對信息。此過程通常也被稱為人臉識別。</p><p>　　4．表情識別：通過對待識別人臉的表情或姿態(tài)信息進行分析，并對其加以歸類。</p>

40、<p>　　5．生理分類：通過分析待識別人臉的生理特征，得出其年齡、性別等相關(guān)信息。圖像從來源上來說分類包括靜態(tài)圖像和動態(tài)圖像、單幀和多幀，以及受控背景和非受控背景等。同時人臉識別的技術(shù)難度，很大程度上就是取決于用于識別的圖像來源和質(zhì)量。一般來說，多幀、受控背景圖像的識別要比單幀、非受控背景圖像更容易得到一個比較好的識別結(jié)果。而進入實際應用的人臉識別系統(tǒng)如：銀行的 ATM 自動提款機，各種證件的檢驗以及車場、倉庫的管理等都上屬

41、于受控背景的一類。所以確切的來講，人臉識別至少要包括兩個方面的任務：復雜背景下人臉的定位和分割，以及人臉的鑒別。</p><p>　　一個狹義的人臉自動識別系統(tǒng)通常包括三個主要技術(shù)環(huán)節(jié)，如圖 1.1 所示：</p><p>　　圖 1-1 人臉自動識別系統(tǒng)的主要技術(shù)環(huán)節(jié)</p><p>　　首先是人臉的檢測以及定位。即檢測圖像中有沒有人臉，并確定其在圖像中的位置。

42、普通證件照片上的頭部占據(jù)了照片中央的大部分地方，定位也較容易。但是在另一些情況下，人臉在圖像中的位置是事先未知的，因此檢測和定位存在一些困難。</p><p>　　然后是特征提取。特征提取之前一般需要進行預處理。比如對圖像進行去噪工作，對圖像進行增等等。使得對后續(xù)的工作有利。然后利用有效手段，提取出有效特征。</p><p>　　最后一步就是決策分類。在人臉數(shù)據(jù)庫里預先存放了己知的人臉圖像

43、或有關(guān)的特征值，決策分類的目的就是將待識別的圖像或特征與庫中的進行匹配。根據(jù)所輸入圖像的性質(zhì)，可將人臉識別分為靜態(tài)圖像的人臉識別和動態(tài)圖像序列的人臉識別兩大類。前者主要是用靜態(tài)圖像，同時對這些圖像進行識別；后者則是用攝像機的時間圖像序列來進行識別。</p><p><b>　　人臉識別存在的問題</b></p><p><b>　　1、人臉檢測與定位<

44、/b></p><p>　　人臉檢測是指在輸入圖像中確定是否存在著人臉，如果有的話則需要確定人臉的位置、大小、位姿的過程。人臉檢測作為人臉識別中的一項關(guān)鍵技術(shù)，近年來也成為模式識別與計算機視覺領(lǐng)域內(nèi)一項比較活躍的課題。同時由于人臉模式的多樣性和圖像獲取過程中的不確定性，比如人臉是一類具有相當復雜的細節(jié)變化的自然結(jié)構(gòu)目標，主要是：第一、人臉由于外貌、膚色、表情等方面不同，具有模式的可變性；第二、人臉可能存在眼

45、鏡、胡須等附屬物；第三、作為三維物體的人臉的影像不可避免地受由光照產(chǎn)生的陰影的影響。因此，就需要找到解決這些問題的方法，并且能使用高級手段對復雜背景下的圖像能檢測出人臉，并且進行精確定位。</p><p><b>　　2、特征選擇與提取</b></p><p>　　數(shù)字圖像分析是圖像處理中的高級階段，它所研究的方面是使用及其分析和識別周圍物體的圖像，從而科得出結(jié)論性的

46、判斷。但是人類視覺系統(tǒng)可以認識的圖像如何能讓計算機系統(tǒng)也能識別呢? 其中的關(guān)鍵就在于找到目標的特征。人們必須尋找出算法，分析圖像的特征，然后將其特征用數(shù)學的辦法表示出來并且教會計算機也會懂得這些特征。這樣，計算機也就擁有了認識或者識別圖像的本論了。要讓計算機具有識別的本領(lǐng)，首先要得到圖像的各種特征，即圖像特征提取。</p><p>　　圖像特征就是指圖像的原始特征或?qū)傩浴Ｆ渲杏行┦钦f視覺直接感受到的自然特征，如區(qū)

47、域的亮度、邊緣的輪廓、圖像的紋理等，有些則是需要通過變換或測量才能都得到的人為特征。圖像特征提取工作的結(jié)果就給出了某一具體的圖像中與其他圖像相區(qū)別的特征。因此如何提取出有效的特征，如何對這些特征進行融合就成為今后的一個研究問題。</p><p><b>　　3、人臉識別</b></p><p>　　在進行人臉識別匹配時，不僅要考慮各種因素所導致的人臉微笑變形，而且在容

48、忍變形的時候，同時還不能損害到人臉識別的有效性。另外，實用的識別系統(tǒng)還必須要考慮計算復雜度。由于每種識別方法各有優(yōu)缺點，多種方法有效綜合將是以后研究的一個趨勢，如何融合其他生物特征的鑒別系統(tǒng)以提高識別效率也是熱點研究方向。</p><p>　　本文的研究內(nèi)容及組織結(jié)構(gòu)</p><p>　　本文首先從國內(nèi)外研究現(xiàn)狀和目前主要集中的算法兩方面對人臉識別進行簡單介紹，接著對數(shù)據(jù)降維技術(shù)進行了綜述

49、，特別是基于子空間的特征提取技術(shù)進行了詳細闡述。在這個基礎(chǔ)上，學習和研究了兩種算法：即基于路徑相似度的判別保局算法以及基于核判別保局最大化邊界算法。具體章節(jié)安排如下：</p><p>　　第 1 章：首先介紹了論文的研究背景 、國內(nèi)外研究現(xiàn)狀和論文的章節(jié)安排。</p><p>　　第 2 章: 對目前存在的人臉識別技術(shù)進行概述，主要從基于幾何特征的人臉識別，基于子空間的人臉識別，基于彈性圖

50、匹配的人臉識別，基于神經(jīng)網(wǎng)絡的人臉識別，基于模板匹配的人臉識別方法，基于隱馬爾可夫的人臉識別方法以及基于貝葉斯網(wǎng)路的人臉識別算法等方面出發(fā)。</p><p>　　第 3 章: 對數(shù)據(jù)降維技術(shù)和特征提取技術(shù)進行了闡述，特別針對核化算法，做出了詳細的闡述。</p><p>　　第 4章: 學習和研究了基于核間距最大準則算法，分別從算法的思想和實驗結(jié)果來進行說明。</p><

51、p><b>　　人臉識別概述</b></p><p>　　計算機人臉識別的目的就是利用計算機來分析人臉圖像，從中提取出來有效的識別信息，用來辨別身份，因此特征提取是人臉識別中的關(guān)鍵。目前，人臉識別主要有以下幾類：基于幾何特征的方法、基于彈性圖方面匹配的方法、基于神經(jīng)網(wǎng)絡的方法、基于模板匹配的方法、基于隱馬爾可夫方法、基于貝葉斯方法和基于子空間的方法。</p><p&

52、gt;　　基于幾何特征的人臉識別</p><p>　　這類識別方法首先是將人臉用一個幾何特征矢量來表示，然后再用模式識別中的層次聚類思想設計分類器對人臉進行識別。在這種基于幾何特征的識別中，識別算法總體歸為特征矢量之間的匹配問題，基于在歐氏距離的判決方法是最常用的識別方法。</p><p>　　Brunelli 等利用改進的積分投影法提取出用歐氏距離表示的 35 維人臉特征矢量來進行人臉識

53、別。Roeder 等對基于幾何特征人臉識別方法的準確性和正確性進行了研究，對人臉特征定義了 12 個測量值來進行聚類分析。Kass 等和 Olstad 等提出采用活動輪廓模型來提取人臉眉毛和下巴的輪廓用于人臉識別。Yuile和 Jain 等利用可變形模板模型來提取眼睛和嘴巴的輪廓進行人臉識別。</p><p>　　基于彈性圖匹配的人臉識別</p><p>　　彈性圖匹配(Elastic G

54、raph Matching，EGM)的理論基礎(chǔ)是圖匹配理論。用圖來描述人臉，圖的頂點表示人臉的局部特征，邊則表示面部特征之間的拓撲鏈接關(guān)系。匹配測度同時考慮頂點和邊之間的距離度量。它是一種以識別目標的局部特征點之間拓撲結(jié)構(gòu)為對象的局部特征匹配方法。</p><p>　　Buhmann，Lades等針對畸變不變性的物體識別提出了動態(tài)連接結(jié)構(gòu)模型(Dynamic Link Architecture，DLA)，將物體的

55、圖像用稀疏網(wǎng)格來表達，通過局部能量譜的多分辨率描述來標注圖形上的一些節(jié)點，用幾何距離向量來標注連線。目標識別就是測試樣本與訓練樣本的彈性匹配的過程，也就是通過匹配代價函數(shù)的隨機優(yōu)化過程來完成。Wiksott 等將人臉特征上的一些特征點作為基準點，強調(diào)了人臉特征點的重要性，這個結(jié)構(gòu)稱為彈性圖。他們采用每個基準點存儲一串具有代表性的特征矢量，大大減少了系統(tǒng)的存儲量和計算量。Wurtz 等人只是使用正面人臉面部的特征，進一步來消除結(jié)構(gòu)中的冗余

56、信息和背景信息，同時使用一個多層的分級結(jié)構(gòu)來實現(xiàn)。Gurdin 等人也采用分級結(jié)構(gòu)的彈性圖，通過用消減一些冗余節(jié)點從而形成稀疏的人臉描述結(jié)構(gòu)。另一種方法就是 Nastar 等所提出的要將人臉圖像表示為可變形的 3D 網(wǎng)格表面，將人臉匹配問題轉(zhuǎn)換成為曲面匹配問題，利用有限元分析的方法來進行曲面變形，并且根據(jù)兩幅圖像之間變形匹配的程度識別人臉。</p><p>　　基于神經(jīng)網(wǎng)絡的人臉識別</p><

57、;p>　　基于神經(jīng)網(wǎng)絡的人臉識別方法就是利用神經(jīng)網(wǎng)絡的學習能力和分類能力對人臉執(zhí)行特征提取、分類與識別。神經(jīng)網(wǎng)絡在人臉識別中存在一定的優(yōu)勢，因為對人臉識別的許多規(guī)律或規(guī)則進行描述是比較困難的，而神經(jīng)網(wǎng)絡方法則可以通過反復學習的過程對這些規(guī)則進行表達，它的使用性比較強，而且也比較容易實現(xiàn)。</p><p>　　最早將人工神經(jīng)網(wǎng)絡技術(shù)用于人臉識別的是 Kohenen。 Cottrell 和 Fleming提出了

58、一個解決方案，采用兩個神經(jīng)網(wǎng)絡，第一個神經(jīng)網(wǎng)絡用來降維處理，第二個用來分類和判別。然而這種網(wǎng)絡的識別效果并不是很理想。Lawrence等人提出采用卷積神經(jīng)網(wǎng)絡方法進行人臉識別，因為該方法在一定程度上具有對圖像平移、旋轉(zhuǎn)和局部變形的不變性，因此就可以得到比較好的識別性能和結(jié)果。Lin等人提出了基于概率決策機制的人工神經(jīng)網(wǎng)絡方法，并應用于人臉檢測、眼睛定位以及人臉識別。從而得到較為理想的概率估計結(jié)果，并采用模塊化的網(wǎng)絡結(jié)構(gòu)來加快網(wǎng)絡的學習。

59、Joo等人提出了一種多步驟方法，首先通過主成分分析 (PCA)方法進行降維，然后采用 RBF神經(jīng)網(wǎng)絡進行分類識別。</p><p><b>　　基于模板匹配的方法</b></p><p>　　Brunelli 采用了模板匹配的方法，實驗結(jié)果表明在尺度、光照、旋轉(zhuǎn)角度等各種條件穩(wěn)定的情況下，模板匹配的效果優(yōu)于其它方法，但是由于它對光照、旋轉(zhuǎn)和表情變化比較敏感，這在一定程

60、度上也就影響了它的性能和直接使用。</p><p>　　可以將人臉分為眼睛模板、嘴巴模板、鼻子模板以及眉毛、下巴模板等。傳統(tǒng)的邊緣描述算法通常很難獲得可靠度較高的連續(xù)邊緣，即便獲得了可靠度較高的邊緣，也很難從中自動提出所需要的特征量。如果用彈性模板方法提取特征可以顯示出其獨到的優(yōu)越性。彈性模板由一組根據(jù)一些先驗知識調(diào)整了一些參數(shù)。</p><p>　　Poggio 等人對基于幾何特征的人臉

61、識別方法和基于模板匹配的人臉識別方法進行了比較，并從實驗結(jié)果得到：基于幾何特征的人臉識別方法在識別速度上比較快，存儲空間也比較小，但是在識別率并不高。</p><p><b>　　基于隱馬爾可夫方法</b></p><p>　　數(shù)學上，關(guān)于隱馬爾科夫模型（Hidden Markov Model,HMM）的研究開始于二十世紀六十年代末和七十年代初， 80 年代以后，得益

62、于面向工程界的介紹性文章的發(fā)表，HMM 才能被更多的人理解并掌握，同時在語音識別以及印刷體識別等模式識別方面方</p><p>　　面得到了更加廣泛的應用。</p><p>　　按照 HMM 的思想，用來表征人臉的特征量構(gòu)成了一個觀測序列，觀測序列被認為是由若干個狀態(tài)產(chǎn)生的，狀態(tài)處于隱層，是不可觀測的。算法采用了具有 5 個狀態(tài)的左右型 HMM 模型。HMM 的訓練就是要為每一個人確定出一

63、組經(jīng)過優(yōu)化了的 HMM 參數(shù)和模型。將單幅或多幅圖像進行訓練。</p><p>　　基于貝葉斯網(wǎng)絡的人臉識別</p><p>　　Moghaddam 等建立了一套完整的人臉統(tǒng)計模型，即建立出了兩種概率模型：在第一種模型中，所用的人臉圖像是在以特征臉為基的空間(為方便起見，簡稱為人臉空間)中的概率由一個高維高斯分布估計，而該人臉空間的補空間中說的概率也由一個高維高斯分布估計，最終的概率是由以

64、上兩個概率密度函數(shù)的乘積來確定。由于估計人臉補空間中的參數(shù)是比較困難的，同時為了讓計算簡便，他們就假設在該補空間中各個方向上的能量分布都是均勻的，同時給出了一個簡單的概率計算公式，并求得了公式中參數(shù)的最優(yōu)理論解。但是這個模型是假設了人臉圖像的分布都是簡單的單峰的分布。由于人臉圖像和非人臉圖像之間的差異比較大，這個假設在人臉檢測時就可以成功應用，但是在人臉識別中，由于人臉具有著多樣性，就存在了問題。在第二種模型中 ， 他 們 使 用 一

65、個 混 合 高 斯 分 布 模 型 (Mixture-of-Gaussians) ， 并 使 用EM(Expectation Maximazation)算法用來進行參數(shù)估計，并取得了一定的效果。</p><p>　　Moghaddam 等提出了貝葉斯人臉識別方法，提出了一種基于概率的圖像相似度的度量方法，他們將人臉圖像之間的差異分成兩類：類間差異(就是不同人的人臉圖像之間的差異)和類內(nèi)差異(就是同一個人的不同人臉

66、圖像之間的差異)。由于貝葉斯相似度的計算涉及到了復雜的非線性計算，Moghaddam 等人又提出了一種線性的快速計算方法。這種人臉識別方法目前在美國 DAPAR 組織的 FERET 人臉測試中的效果是最好的。目前貝葉斯算法的主要問題存在于類間差異的訓練圖像較難選取和識別算法的效率不是很高，這在使用大型人臉圖像庫的時候就尤為突出。</p><p>　　基于核方法的人臉識別</p><p>　

67、　20世紀80年代，模式分析領(lǐng)域幾乎同時引入了后向傳播多層神經(jīng)網(wǎng)絡算法和決策樹學習算法，第一次使得檢測非線性模式成為可能。然而這些非線性算法是建立在梯度下降法或貪心啟發(fā)式法的基礎(chǔ)上的，受到局部極小化的限制；又由于沒有很好地理解它們在統(tǒng)計上的行為，人們在利用這些算法時還經(jīng)常會遇到過度擬合的問題，這些不足都限制了上述非線性算法的發(fā)展。</p><p>　　20世紀90年代中期，隨著支持向量機[Vapnik 1995]

68、的提出，出現(xiàn)了一種新的被稱為基于核的非線性模式分析方法，簡稱為核方法。核方法通過非線性嵌入映射，能將許多線性算法優(yōu)美地非線性泛化，從而能夠高效地分析圖像空間中的非線性關(guān)系，而這種高效率原先只有線性算法才能夠達到。正因為如此，核方法常被認為是一種非線性技巧，稱為“核技巧”。</p><p>　　人臉識別作為模式識別的一個研究方向,因其在安全驗證系統(tǒng)、智能人機接口、視頻會議等方面有著巨大的應用前景成為當前的一個研究熱

69、點。Turk等人提出了經(jīng)典的特征</p><p>　　臉,利用主元分析(PCA)進行人臉特征提取,并取得了較好的效果。但是,PCA法只考慮了圖像數(shù)據(jù)中的二階統(tǒng)計信息,未能利用數(shù)據(jù)中的高階統(tǒng)計信息,忽略了多個像素間的非線性相關(guān)性。研究表明,一幅圖像的高階統(tǒng)計往往包含了圖像邊緣或曲線的多個像素間的非線性關(guān)系。</p><p>　　實際上，人臉圖像中的表情、光照、姿態(tài)和阻擋物的變化都是及其復雜而

70、且是非</p><p>　　線性的。線性子空間方法實際上就是將這些非線性的變化進行了線性簡化。隨著非線</p><p>　　性的核方法技術(shù)在支持向量機(Support Vector Machine, SVM)上的廣泛和成功的應用，非線性子空間方法便受到廣泛關(guān)注。核方法的最主要思想就是利用一個非線性映射，把原來空間的數(shù)據(jù)映射到了一個隱性高維特征空間，然后在這個隱性高維特征空間中對數(shù)據(jù)進行全面

71、分析。在計算上并不需要明確計算此非線性變換，只需要通過一個內(nèi)積核函數(shù)用來計算在隱性特征空間中兩兩向量之間的內(nèi)積即可以了。目前己經(jīng)是成功應用于人臉識別領(lǐng)域方面的有核主成分分析(KPCA)、核線性判別分析(KLDA)等方法。Yang等人將 KPCA 和 Eigenface、ICA 進行了比較，結(jié)果表明 KPCA 算法能更有地效描述人臉的復雜變化，具有一定的優(yōu)越性。</p><p>　　在人臉圖像識別領(lǐng)域存在著大量的典

72、型的小樣本問題，在該類問題中，類內(nèi)散布矩陣通常是奇異的。這是因為待識別圖像矢量的維數(shù)較高，而在實際問題中難以找到或根本不可能找到足夠多的訓練樣本來保證類內(nèi)散布矩陣的可逆性。為了避免模式識別中的小樣本問題，Li 等人提出了一種基于最大間距準則(maximum margin criterion, MMC)的特征抽取方法，并且用核方法拓廣到非線性情形。</p><p>　　本文主要采用KPCA來提取人臉圖像的特征，然后

73、基于這些特征通過利用MMC方法來實現(xiàn)人臉的識別，并且取得了很好地效果。</p><p><b>　　本章小結(jié)</b></p><p>　　本章對人臉識別技術(shù)作了簡單的概述，分別從基于幾何特征的方法、基于彈性圖匹配的方法、基于神經(jīng)網(wǎng)絡的方法和基于子空間的方法四大類進行了介紹，由于子空間算法的一些優(yōu)點，特別對基于核方法的人臉識別技術(shù)進行詳細說明。</p>&

74、lt;p><b>　　數(shù)據(jù)降維算法概述</b></p><p>　　在當今世界上，人們越來越多的接觸到高維數(shù)據(jù)，這些數(shù)據(jù)的特點是：高數(shù)據(jù)量、高維數(shù)、高數(shù)據(jù)增長率和非結(jié)構(gòu)化。一方面它們能為人們提供出更完整的信息，另一方面它們會導致維數(shù)災難問題，即所處理的樣本數(shù)要隨著維數(shù)的增加呈指數(shù)方式增長，這就給人們進行數(shù)據(jù)處理帶來了很大困難，因此需要對原始數(shù)據(jù)進行降維，提取有效特征。</p>

75、;<p>　　降維就是將高維數(shù)據(jù)根據(jù)一定的目標和準則尋找一個變換：</p><p><b>　　(3-1)</b></p><p>　　把原始數(shù)據(jù) X 變換為低維子空間中的點y,其中 d<<D?？梢詮牟煌嵌葘⒔稻S算法分類：有監(jiān)督學習和非監(jiān)督學習，線性和非線性算法，全局和局部算法。</p><p>　　非監(jiān)督學習輸入的

76、只有數(shù)據(jù)，通過特定的準則來實現(xiàn)數(shù)據(jù)降維，比如主成分分析 PCA 以最小化重建誤差為準則。而在有監(jiān)督學習中，輸入數(shù)據(jù)之外，還有一個類別信息，在降維時，利用提供出的類別信息，使得同類的樣本聚類地更加接近，而不同類的樣本分得越開， 如線性判別分析 LDA。</p><p>　　線性方法，指的是變換 f 是線性的，它假設數(shù)據(jù)分布在一個線性子空間中，通過訓練可以得到該子空間的一組基向量，從而將數(shù)據(jù)投影到了低維子空間中。但是

77、在實際應用中遇到的往往又是高維非線性對象，比如人臉，因此尋找有效的非線性方法成了迫切的問題，非線性方法的最大特點就是沒有顯式的降維變換。</p><p>　　全局算法，指的是算法的考慮點要從全局出發(fā)，比如 PCA 和 LDA，它們所考慮的是所有數(shù)據(jù)點之間的關(guān)系。而局部算法只考慮某一領(lǐng)域內(nèi)數(shù)據(jù)之間的關(guān)系，具體可以通過 K 近鄰KNN 和ε 半圓法，大多數(shù)的流形算法都是局部算法，比如等度映射和局</p>

78、<p>　　部線性嵌入算法。本章主要對目前所存在的降維技術(shù)進行簡單介紹。</p><p><b>　　線性降維算法</b></p><p>　　線性降維方法就是尋找高維數(shù)據(jù)中的線性變換，具有計算簡單，易理解，處理線性結(jié)構(gòu)的數(shù)據(jù)時非常有效。</p><p><b>　　主成分分析</b></p>&

79、lt;p>　　在信號處理中，所謂的 K-L 變換實際上說就是 PCA。PCA 的基本思想就是：將數(shù)量眾多的原始上的相關(guān)變量轉(zhuǎn)換為數(shù)量較少的不相關(guān)變量。通常的做法就是將原始變量進行線性組合使之成為若干綜合變量，同時這些綜合變量之間相互獨立，并且盡可能表示出原始變量包含的信息，選取其中最大的幾個主成分進行分析。這樣就可以在盡可能少損失原有信息數(shù)據(jù)的基礎(chǔ)之上，降低數(shù)據(jù)的維度，提高運算的效率。</p><p>　　

80、考 慮 數(shù) 據(jù) 空 間 中 的 樣 本 ，均值，協(xié) 方 差 矩 陣 為，，通過特征值分解為，其中U是正交矩陣；是由∑的特征值構(gòu)成的對角陣，。主成分變換為：</p><p><b>　　(3-2)</b></p><p>　　得到了一個新的數(shù)據(jù)集，它的均值為 0，協(xié)方差矩陣即為對角陣Λ這樣就直接去除掉了原來變量間的相關(guān)性。丟掉那些方差較小的分量，就是要將原數(shù)據(jù)投影到由前

81、d 個最大的主成分張成的線性子空間上，從而來降低數(shù)據(jù)的維數(shù)。即</p><p><b>　　(3-3)</b></p><p>　　其中是矩陣U中對應于Λ里最大d個特征值的特征向量，為低維空間中的數(shù)據(jù)表達。</p><p>　　基于在特征值分解的 PCA 的另外一個性質(zhì)就是數(shù)據(jù)總體方差等于協(xié)方差矩陣特征值的總和，即</p><

82、;p><b>　　(3-4)</b></p><p><b>　　(3-5)</b></p><p>　　其中在（3-5）給出了前d 個主成分中所包含的方差占據(jù)原始數(shù)據(jù)中所有方差總和的比例，通過繪制式（3-5）中計算的累計比例，就可以選擇適當數(shù)目的主成分來保留出一定原始數(shù)據(jù)的總體方差信息數(shù)據(jù)。</p><p><

83、;b>　　線性判別分析</b></p><p>　　PCA 就是無監(jiān)督的降維方法，所尋求的是在線性重構(gòu)誤差最小意義下計算的最優(yōu)子空間。對于分類問題方面，我們希望找到某個投影方向，使得不同類的數(shù)據(jù)樣本能夠盡量分開,即 LDA。</p><p>　　分類問題可描述為：給定分別屬于 J 類的n個數(shù)據(jù)樣本，表示第 j 類元素構(gòu)成的集合，表示屬于 j 類的元素的個數(shù)，用表示第j 類

84、的均值，μ 表示整體樣本的均值。</p><p>　　對于二類問題，希望投影后得到的能夠使得如下最大：</p><p><b>　　(3-6)</b></p><p>　　其中別是正、負類樣本在投影方向的均值，和就是正負類樣本在投影方向上的方差。同時可將其推廣到多類問題上，此時希望找到的優(yōu)化投影方向就是使得在低維空間中同類數(shù)據(jù)能夠盡量靠近，不同

85、的類數(shù)據(jù)要能夠盡量分離，從而保留下豐富的辨別信息，使投影后的數(shù)據(jù)能夠具有最大的可分性。</p><p>　　此時，F(xiàn)isher 準則可修正為：</p><p><b>　　(3-7)</b></p><p><b>　　其中，</b></p><p><b>　　(3-8)</b&g

86、t;</p><p><b>　　(3-9)</b></p><p>　　這里就是對應于矩陣的前d 個最大特征值的特征向量，求解出下面的特征值問題就可以求出最優(yōu)投影方向：</p><p><b>　　(3-10)</b></p><p>　　求出特征向量之后，測試樣本在這些特征向量上的投影系數(shù)也就是

87、對測試樣本所提取出的特征向量，即低維嵌入坐標。LDA 算法也就是求出一個線性子空間，使得所有樣本在這個子空間中，類內(nèi)樣本散度能夠最小，類間樣本的散度能夠最大，因此 LDA 降維后得到的低維嵌入坐標非常有利于進行樣本的分類。</p><p><b>　　非線性降維算法</b></p><p>　　現(xiàn)實生活中，人們遇到的數(shù)據(jù)往往是非線性的，因此如何能有效處理非線性數(shù)據(jù)給人

88、們帶來了巨大的挑戰(zhàn)，本節(jié)對一些著名的非線性降維算法進行介紹。</p><p><b>　　等度映射</b></p><p>　　Tenenbaum 和 Silva 于 2000 年提出了等距映射(ISOMAP)算法。算法是建立在了經(jīng)典的 MDS 算法基礎(chǔ)上，其目標就是使降維后的數(shù)據(jù)能夠盡量保持在降維前的數(shù)據(jù)間的距離關(guān)系，如圖 3-1 所示。</p>&l

89、t;p>　　圖 3-1 歐式距離（虛線），測地線距離和最短路徑距離比較</p><p>　　算法分成以下兩種情況來處理：</p><p>　　(l)當兩個樣本點之間離得很近(k 近鄰或為ε 鄰域)時，直接用它們的歐氏距離近</p><p><b>　　似測地距離。</b></p><p>　　(2)當兩個樣本點之

90、間離得比較遠時，用它們在由樣本點形成的近鄰圖上的最短路徑來逼近測地距離。經(jīng)過數(shù)學的推導，算法將低維嵌入坐標的求解轉(zhuǎn)化成為矩陣的特征值方面的問題。</p><p>　　ISOMAP 算法的步驟如下：</p><p>　　Step1：建立出加權(quán)鄰接圖G 。主要有以下兩種方法確定鄰接圖的邊，ε鄰域和k近鄰，并且用以數(shù)據(jù)點間的歐氏距離作為邊上的權(quán)重。</p><p>　　S

91、tep2：同時利用圖論中的 Dijkstra 算法或 Floyd 算法計算出圖G 中每兩點間的最短的路徑，記下得到的距離矩陣為。</p><p>　　Step3：然后用 MDS 求低維嵌入坐標，記</p><p><b>　　(3-11)</b></p><p>　　則所求出的d 維嵌入坐標由的最大的d個特征值所一一對應的特征向量就給出了。&l

92、t;/p><p>　　ISOMAP 算法的一個優(yōu)點就是對于單一流形結(jié)構(gòu)來說，與傳統(tǒng) MDS 一樣，可以使用距離來保持的程度用來判斷數(shù)據(jù)的內(nèi)在維數(shù)。在發(fā)現(xiàn)人臉數(shù)據(jù)集和手勢數(shù)據(jù)集的內(nèi)在維數(shù)方面上，ISOMAP 算法均取得了一定的成果。</p><p><b>　　局部線性嵌入</b></p><p>　　2000 年 Roweis 在 Science

93、上提出了 LLE 算法，算法就是假定數(shù)據(jù)集所在的低維流形和從低維流形到高維觀測空間之間的光滑嵌入映射在局部都是線性的。從而使得低維流形在觀測空間中的像在局部也就是線性的，觀測空間中的每個數(shù)據(jù)點都是可以用它的近鄰點來進行線性表示，而且也具有與在低維流形上的原像點相同的線性結(jié)構(gòu)，即低維流形上的每個點都可以用其近鄰點線性表示的權(quán)重與它們在高維空間中的線性表示權(quán)重相同。</p><p>　　但是在低維流形和光滑嵌入映射的

94、局部線性性質(zhì)都只是一種假設，在大部分情況下都不能夠嚴格成立。另外加上數(shù)據(jù)中的噪音等，這種線性一般情況下都會有誤差。在 LLE 算法中，也正是通過這樣最小化線性重構(gòu)誤差首先確定每個采樣點由近鄰重構(gòu)時的權(quán)重信息，然后通過在低維流形上保持對應點的權(quán)重不變，再次通過最小化在低維流形上的重構(gòu)誤差用來求出來它們在低維流形上的總體嵌入坐標。</p><p><b>　　拉普拉斯映射</b></p&g

95、t;<p>　　2003 年 Belkin 提出了拉普拉斯特征映射算法。與 LLE 算法類似，該算法是假設在高維空間中離得很近的點投影到低維空間中的象也應該離得很近，因此算法的求解就轉(zhuǎn)化為求解圖拉普拉斯算子的廣義特征值問題。</p><p>　　拉普拉斯算子定義成為流形切空間上梯度向量之間的負散度函數(shù)，流形的最優(yōu)嵌套同時可通過求拉普拉斯算子的特征函數(shù)來實現(xiàn)。算法實現(xiàn)中，流形結(jié)構(gòu)的描述由相鄰圖來近似。

96、</p><p>　　對于D維空間中所說的k 個點所構(gòu)成的高維數(shù)據(jù)集，要想將其嵌入到d 維空間中去，得到d 維空間中的k 個點。算法共分三步，描述如下：</p><p>　　Step1：構(gòu)造出鄰域圖。如果說點i和點 j 是鄰域點則要將兩點連接，那么有兩種</p><p>　　方法(ε 鄰域和k 近鄰法)來尋找一個點的鄰域點。</p><p>

97、　　Step2：構(gòu)造出權(quán)值矩陣。仍然有兩種方法可以構(gòu)造權(quán)值矩陣：</p><p>　　熱核法。該方法是在受到熱核理論的啟發(fā)而得出的，如果說點i和點 j 是鄰域點，則兩點間的權(quán)值設為：</p><p><b>　　(3-12)</b></p><p>　　(2)簡單權(quán)值法。如果說點i和點 j 是鄰域點，則兩點間的權(quán)值設為 1，否則設為 0。<

98、;/p><p>　　Step3：計算出d維嵌入。由第二步所求得的權(quán)值矩陣 是一個D×D維的矩陣，對于該矩陣所求特征值并且把求得的特征值升序排列。然后通過求出這些特征值對應的特征向量，再取這些特征向量的前d 個分量作為嵌入低維空間上的流形映射。</p><p>　　基于核技巧的非線性降維算法</p><p>　　借助于支持向量機理論，研究者們提出了通過核技巧，先

99、將數(shù)據(jù)映射到了高維非線性數(shù)據(jù)，然后在該空間中進行線性降維，具有代表性的算法是 KPCA 和 KLDA。</p><p>　　核主成分析就是說利用積分算子核函數(shù)的特性來進行分析觀測空間數(shù)據(jù)集的結(jié)構(gòu)。還要研究數(shù)據(jù)集在特征空間的性質(zhì)，一般都需要構(gòu)造映射函數(shù)。核函數(shù)的優(yōu)點是，可以讓數(shù)據(jù)集在其特征空間的度量性質(zhì)在原來的空間中實現(xiàn)，同時又無需要顯式描述特征空間同時給出明確映射函數(shù)。由此，我們就可以利用核函數(shù)構(gòu)造數(shù)據(jù)集在其特征

100、空間的協(xié)方差矩陣，并求取出在映射空間的結(jié)構(gòu)。</p><p>　　從具體操作過程來看，核方法首先是采用了非線性映射將原始數(shù)據(jù)由數(shù)據(jù)空間映射到高維特征空間，然后再在特征空間中進行了相應的線性操作。由于其運用了非線性映射，且這種非線性映射通常非常復雜，從而大大增強了非線性數(shù)據(jù)處理能力。</p><p>　　另外由于核的采用和對樣本的依賴性，KPCA 還可以研究數(shù)據(jù)集的高階相關(guān)性。從</p

101、><p>　　某種意義來看，這也使得我們有可能在數(shù)據(jù)集的觀測空間維數(shù)較低意義下，能夠獲得較高維淹沒子流形的特征分析。</p><p>　　主要的算法步驟為：首先通過一個非線性映射函數(shù)，將原來空間中每一個向量 x映射到了一個高維的特征空間F 中(特征空間的維數(shù)可以是無窮大)，在特征空間之中，向量，然后再在高維特征空間F 中進行線性 PCA，而相對于原來空間來說，就是進行非線性的 PCA。<

102、/p><p>　　核線性判別分析的思想同 KPCA，楊健等人已證明它是等同于在 KPCA 之后運再用LDA。主要的算法步驟為：首先是通過一個非線性映射函數(shù)，將原空間中每一個向量 x映射到了一個高維特征空間F 中(特征空間的維數(shù)可以是無窮大)，在特征空間中，向量，然后再在高維特征空間F 中進行線性 LDA，而相對于原空間而言，就是進行非線性的 LDA。</p><p>　　流行學習算法的幾個線性

103、化算法</p><p>　　上節(jié)中介紹的等度映射、局部線性嵌入和拉普拉斯映射在將數(shù)據(jù)可視化時，表現(xiàn)出了很多優(yōu)點。但是在處理模式分類等問題時，由于算法只考慮訓練樣本，沒有考慮測試樣本，因此會遇到樣本外問題（out of sample problem），即不能處理測試樣本中的新數(shù)據(jù)。為了解決這一問題，HE 等人提出了 LPP（locality preservingprojection）保局算法和 NPE（neighb

104、orhood preserving embedding）領(lǐng)域保持嵌入，其中 LPP 就是拉普拉斯映射的線性化版本，NPE 是局部線性嵌入的線性化版本。本節(jié)主要對 LPP 算法進行詳細介紹，也為以后所提算法奠定了基礎(chǔ)。</p><p>　　LPP是一種新的子空間分析方法，它是非線性方法LE的線性近似。局部保局投影(LPP)通過一定的性能目標來尋找線性變換W ，以實現(xiàn)對高維數(shù)據(jù)的降維：。</p><

105、;p>　　已知存在l個訓練樣本,令為的 k 個近鄰點。變換矩陣W就可以通過最小化如下目標函數(shù)來得到：</p><p><b>　　(3-13)</b></p><p>　　其中S 是權(quán)值矩陣可采用k 近鄰方法來確定。</p><p><b>　　(3-14)</b></p><p>　　其中t

106、是一個大于0的常量。對式(3-13)進行代數(shù)變換，如下：</p><p><b>　　(3-15)</b></p><p>　　是拉普拉斯矩陣，則上式就可轉(zhuǎn)化為特征求解問題</p><p><b>　　(3-16)</b></p><p>　　由于基于子空間的 LPP 算法具有描述性強、計算代價小、

107、易實現(xiàn)及可分性好等特點，成為計算機視覺、模式識別等領(lǐng)域的研究熱點。由于算法本身并沒有考慮樣本類</p><p>　　別信息，鑒于此許多學者通過增加樣本類別信息、正交化基向量以及加入核函數(shù)來改進 LPP 算法。</p><p><b>　　本章小結(jié)</b></p><p>　　本章對目前較著名的一些降維算法進行了簡單介紹，從線性算法和非線性算法兩

108、方面出發(fā)，介紹了主成分分析、線性判別分析、等度映射、局部線性嵌入、拉普拉斯映射、核方法和局部保持算法。根據(jù)相關(guān)的文獻，核方法具有很多優(yōu)點，接下去的一章針對 KPCA、MMC，學習和研究了改進算法KMMC。</p><p>　　基于核方法的最大間距準則算法</p><p>　　在眾多算法中，線性判別分析LDA、主成分分析PCA在實際應用中經(jīng)常會遇到小樣本問題，為了解決這一問題，研究者提出了很

109、多改進算法，其中較著名的有MMC(Maximum Margin Criterion)算法，但是同 LDA一樣，它是全局算法，沒有考慮局部信息，但是相關(guān)研究者指出局部信息在某些情況下起著非常重要的作用，比如在用最近鄰分類器時。為了解決這些問題，本章學習和研究基于核方法的最大間距準則算法。</p><p><b>　　引言</b></p><p>　　在第 3

110、章中，已經(jīng)詳細介紹了主成分分析、線性判別分析和保局算法等主要的</p><p>　　數(shù)據(jù)降維算法，其中主成分分析通過最大化n維樣本的總體散布獲得由總體散布矩陣的前l(fā)(l <<n)個最大特征值對應的主元特征向量張成的低維線性子空間，保局算法通過保持投影前后樣本的相鄰關(guān)系獲得從n維圖像空間到l維特征空間的變換矩陣。這兩種方法最終都歸結(jié)為求解廣義特征值問題，但是它們都是非監(jiān)督學習，因此不利于模式分類。<

111、;/p><p>　　線性判別分析是以分類為目的的線性特征提取算法，通過最大化樣本的類間散布和類內(nèi)散布的比率將樣本的類別信息加入到特征提取的過程中，其目的是保留樣本的判別信息和整體的幾何結(jié)構(gòu)，然而，相關(guān)研究者指出保持樣本的局部信息對分類問題更有意義。同時線性判別分析在實際操作中會遇到小樣本問題，即類內(nèi)矩陣往往是奇異的。</p><p>　　在本章中，考慮樣本的局部信息，同時考慮樣本的類別信息，運