基于機(jī)器學(xué)習(xí)方法的人臉表情識(shí)別研究.pdf

1、對(duì)人際交往而言，除了自然語(yǔ)言、肢體動(dòng)作以外，面部表情(facial expression)也是一種獨(dú)特而重要的信息傳遞方式。面部表情往往能夠傳達(dá)很多語(yǔ)言所不能傳達(dá)的東西。面部表情可以分為宏觀表情和微觀表情，宏觀表情是人們?cè)诔Ｒ?guī)狀態(tài)下展示出的面部信號(hào);而微觀表情則是短暫的、潛在的表情，這種表情通常發(fā)生在人們有意或無(wú)意的隱藏或壓制他們的內(nèi)心情感時(shí)。面部運(yùn)動(dòng)不僅反映了情感，也反映出了其他人類(lèi)情感，如社會(huì)活動(dòng)和心理變化。
　　人臉表情識(shí)別

2、，是采用機(jī)器和軟件對(duì)人臉表情信息進(jìn)行處理，提取其特征并進(jìn)行分類(lèi)的過(guò)程。其目的是使計(jì)算機(jī)能夠根據(jù)人的表情信息，推斷人的心理狀態(tài)，從而實(shí)現(xiàn)人機(jī)之間的智能交互。一般而言，表情識(shí)別系統(tǒng)主要有四個(gè)基本部分組成:表情圖像獲取、表情圖像預(yù)處理、表情特征提取和表情分類(lèi)識(shí)別。人類(lèi)能迅速地理解它人的豐富表情，并為之做出回應(yīng)。如果人類(lèi)的這一特性能為計(jì)算機(jī)交互所利用，那將極大的推動(dòng)人機(jī)交互問(wèn)題的解決。由于人的豐富的面部表情很難用低級(jí)可視特征進(jìn)行精確的描述，傳統(tǒng)

3、的面部識(shí)別系統(tǒng)通常存在人與計(jì)算機(jī)之間的語(yǔ)義鴻溝的問(wèn)題。
　　人臉表情分析、檢測(cè)和識(shí)別是計(jì)算機(jī)和模式識(shí)別領(lǐng)域一項(xiàng)重要且富有挑戰(zhàn)性的研究課題。無(wú)論是從圖像中定位出臉部，還是在圖像中識(shí)別出少數(shù)有效的孤立物體，這些都是非常復(fù)雜的?，F(xiàn)有的人臉表情識(shí)別系統(tǒng)旨在能發(fā)覺(jué)和理解人類(lèi)的情感狀態(tài)，但這些表情通常是在在不受干擾的情況下提取出來(lái)的。對(duì)觀察者而言，自然的面部表情可以暗示出一種特定的情緒，然而，在實(shí)際生活中，人們可能會(huì)先模仿了別人的表情，卻在最

4、后表達(dá)出一種完全不同的情緒。為了避免結(jié)果受到影響，我們需要一種智能的計(jì)算機(jī)系統(tǒng)，它能根據(jù)從臉部提取到豐富的面部信息，分析表情的真實(shí)變化。盡管現(xiàn)有研究成果已經(jīng)表明了臉部表情、情感信號(hào)和內(nèi)心狀態(tài)之間的關(guān)系，但是怎樣讓計(jì)算機(jī)更好地提取人類(lèi)面部信息仍舊是一個(gè)亟待解決的問(wèn)題。
　　過(guò)去的幾十年中，大量的研究人員致力于人臉表情分析的研究，他們對(duì)面部表情的研究可大致分為:表情預(yù)處理、面部特征提取、情感分類(lèi)。通常其輸入數(shù)據(jù)是靜態(tài)圖像或視頻序列。針

5、對(duì)人臉表情的研究的主要內(nèi)容是對(duì)人類(lèi)的情感狀態(tài)進(jìn)行檢測(cè)、解釋以及分類(lèi)，并使用恰當(dāng)?shù)姆绞教幚磉@些情感信息?，F(xiàn)有的面部表情分析方法大致可分為兩類(lèi):基于幾何特征的方法和基于視覺(jué)特征的方法。典型的基于視覺(jué)特征的方法是動(dòng)態(tài)文理識(shí)別的方法:而基于幾何特征的方法包括面部成分的形狀和位置特征、面部特征點(diǎn)的位置等。這兩種方法的區(qū)別主要在于特征的提取與描述方法不同。幾何特征通常只考慮特征點(diǎn)的運(yùn)動(dòng)，而忽略了皮膚紋理變化提供的豐富信息;另一方面，基于視覺(jué)特征的方

6、法則容易受到光照和個(gè)體差異的影響。視覺(jué)特征的方法的優(yōu)勢(shì)在于該方法會(huì)生成細(xì)節(jié)信息，獲得更好的識(shí)別精度，簡(jiǎn)單且性能良好。有大量的研究工作都屬于這一類(lèi)別，且極具實(shí)際意義。
　　本文首先對(duì)人臉表情識(shí)別研究的相關(guān)工作進(jìn)行了總結(jié)，從面部表情描述、面部表情識(shí)別框架、特征提取和表示、分類(lèi)方法幾個(gè)方面，對(duì)該領(lǐng)域的研究現(xiàn)狀進(jìn)行了回顧。
　?。ㄒ唬┟娌勘砬槊枋?br>　　對(duì)表情研究可追溯到查爾斯·羅伯特·達(dá)爾文在1872年出版的《人類(lèi)與動(dòng)物的感情

7、表達(dá)》。達(dá)爾文追溯了人類(lèi)特征的起源，如:緊閉的嘴唇、緊蹙的眉毛、眼淚和呻吟等特征。這些研究表明，人類(lèi)表情可被分為:憤怒、害怕、開(kāi)心、討厭、悲傷以及驚奇等。達(dá)爾文的研究構(gòu)成了現(xiàn)代人臉表情識(shí)別系統(tǒng)的理論基礎(chǔ)。
　　計(jì)算機(jī)技術(shù)的發(fā)展極大地推動(dòng)了人臉表情識(shí)別研究。1978年，Suwa等首先提出了人臉表情識(shí)別系統(tǒng)，1990年Mase和Pentland做出了對(duì)表情識(shí)別系統(tǒng)的開(kāi)創(chuàng)性的工作。自此以后，大量的研究人員使用計(jì)算機(jī)系統(tǒng)從事這方面的研究。

8、
　　人臉表情是由于臉部肌肉的運(yùn)動(dòng)而產(chǎn)生的，從而導(dǎo)致了面部特征的變化。為度量面部表情的重要性，需要確定面部運(yùn)動(dòng)的位置以及其強(qiáng)度。面部表情的強(qiáng)度可以通過(guò)面部特征的幾何變化進(jìn)行度量。通常，面部表情可使用三個(gè)參數(shù)進(jìn)行描述:起始點(diǎn)(Onset)、最大點(diǎn)(Apex)、結(jié)束點(diǎn)(Offset)。一些研究人員研究了如何自動(dòng)地計(jì)算面部表情的起始點(diǎn)和結(jié)束點(diǎn)。為了捕獲人的面部表情，需要對(duì)面部表情進(jìn)行精確定義。面部運(yùn)動(dòng)編碼系統(tǒng)(FACS)是目前廣泛使用的

9、面部運(yùn)動(dòng)標(biāo)記系統(tǒng)，該系統(tǒng)將面部表情的變化與產(chǎn)生表情的肌肉的運(yùn)動(dòng)聯(lián)系在一起。運(yùn)動(dòng)單元(AU)是最小的可視面部動(dòng)作。面部運(yùn)動(dòng)編碼系統(tǒng)提供了一種客觀的方法描述面部表情，且該系統(tǒng)可以發(fā)現(xiàn)與情感相關(guān)的新的運(yùn)動(dòng)模式。近年來(lái)，基于FACS的研究表明:面部運(yùn)動(dòng)可以區(qū)分以較高的精度區(qū)別說(shuō)真話的測(cè)試對(duì)象與說(shuō)假話的測(cè)試對(duì)象?？傮w來(lái)說(shuō)，F(xiàn)ACS給許多實(shí)際應(yīng)用提供了一個(gè)通用的解決方案。但該方法需要人工對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行標(biāo)記，且人工不可能對(duì)動(dòng)態(tài)表情進(jìn)行標(biāo)記。在需要進(jìn)行

10、實(shí)時(shí)反饋的應(yīng)用場(chǎng)景中，F(xiàn)ACS通常不適用。
　　與使用FACS描述面部特征細(xì)節(jié)不同的是，一些識(shí)別系統(tǒng)使用了基于主觀標(biāo)記表情原型的描述方法。主觀表示用于推斷面部表情背后的隱含意義，如:感情或個(gè)性等。通常，情感原型表示會(huì)根據(jù)面部表情的強(qiáng)度變化而變化。這種方法的主要問(wèn)題在于它不能依據(jù)現(xiàn)有的表情子集來(lái)表示所有可能的情感類(lèi)別。
　?。ǘ┳詣?dòng)面部表情分析系統(tǒng)框架
　　自動(dòng)面部表情分析能根據(jù)面部特征判斷個(gè)人的特征。通常，人臉表情識(shí)

11、別系統(tǒng)可以看作一個(gè)單獨(dú)的表情識(shí)別系統(tǒng)或作為人臉識(shí)別系統(tǒng)的一個(gè)模塊。本文提出了一個(gè)面部表情分析系統(tǒng)的框架描述。圖像獲取和人臉識(shí)別是該框架的重要組成部分。目前，很多方法都可以從靜態(tài)圖像中進(jìn)行人臉檢測(cè)。早起的大多數(shù)檢測(cè)方法只能檢測(cè)人臉的正面。2004年，Viola和Jonesy提出了一種基于AdaBoost學(xué)習(xí)的人臉檢測(cè)算法，在進(jìn)行人臉和背景分離方面，該算法被認(rèn)為是最快最有效的方法。Dalai等應(yīng)用HOG描述子的進(jìn)行了人臉檢測(cè)，實(shí)驗(yàn)表明，該描

12、述子的效果優(yōu)于其它已有特征。
　?。ㄈ┨卣魈崛『捅硎?br>　　特征表示階段需要找到最恰當(dāng)?shù)姆绞奖硎久娌繉?duì)象，從而進(jìn)行表情識(shí)別。通常，特征表示需要將人臉的像素?cái)?shù)據(jù)轉(zhuǎn)換為基于形狀、運(yùn)動(dòng)、顏色、紋理、空間信息等高級(jí)對(duì)象表示的數(shù)據(jù)。
　　Pantic團(tuán)隊(duì)提出了經(jīng)典的基于幾何特征的特征表示方法;Tian等則對(duì)眼睛、眉毛、嘴唇以及其他特征進(jìn)行形狀建模來(lái)提取特征。Bartlet等則提出了經(jīng)典的基于視覺(jué)特征的表情特征表示方法。
　

13、　盡管研究人員已經(jīng)提出了不同的方法表示面部表情的特征，但這一問(wèn)題仍需要進(jìn)行進(jìn)一步的研究。目前，小波分析是一種流行的多分辨率分析方法。小波用于將單個(gè)的輸入信號(hào)分解成多個(gè)更簡(jiǎn)單、更易于處理和解釋的信號(hào)，同時(shí)，基于頻域的表示方法充分利用了感興趣的區(qū)域，同時(shí)也進(jìn)行了降維。文獻(xiàn)[95]使用Radon變換和傅里葉變換進(jìn)行人臉檢測(cè);文獻(xiàn)[96]則使用基于粒子群優(yōu)化算法的Random變換，以及PCA和LDA技術(shù)進(jìn)行人臉檢測(cè)。文獻(xiàn)[97]基于Random

14、變換和小波變換，提出了一種新的人臉識(shí)別的框架。
　?。ㄋ模┓诸?lèi)
　　分類(lèi)是人臉表情分析系統(tǒng)的最后階段。常用的分類(lèi)方法有基于神經(jīng)網(wǎng)絡(luò)的方法、支撐向量機(jī)的方法、線性判別分析的方法等、基于馬爾科夫模型的方法。其中，基于神經(jīng)網(wǎng)絡(luò)的表情識(shí)別方法的識(shí)別性能優(yōu)異。有一些文獻(xiàn)使用神經(jīng)網(wǎng)絡(luò)進(jìn)行表情分類(lèi)。
　　表情是心靈的窗口，而表情與行為也有密切聯(lián)系。我們可以通過(guò)人臉表情預(yù)測(cè)或理解它人的行為，因此，對(duì)計(jì)算機(jī)來(lái)說(shuō)，人臉表情識(shí)別是一種有效地

15、與人交流的方式:通過(guò)理解人臉信息，計(jì)算機(jī)能對(duì)人的特征或情感做出判斷?？紤]到人臉對(duì)象以及獲取人臉對(duì)象的設(shè)備的多樣性，需要一種預(yù)處理機(jī)制解決對(duì)象特征的全局歸一性問(wèn)題。對(duì)計(jì)算機(jī)來(lái)說(shuō)，具有明顯邊界的面部對(duì)象比邊界模糊的面部對(duì)象更容易識(shí)別。而邊界問(wèn)題主要是由姿態(tài)、噪音或光照問(wèn)題引起的。因此，我們需要對(duì)圖像進(jìn)行特征表示，可以是圖像密度、顏色、文本或這些特征的組合。
　　現(xiàn)有的人臉識(shí)別算法，在單獨(dú)應(yīng)用時(shí)，都難以達(dá)到實(shí)際應(yīng)用需要的識(shí)別精度。因此，

16、本文試圖在現(xiàn)有各種算法的基礎(chǔ)上，致力于提高識(shí)別精度的研究。本文的目標(biāo)是深入考察現(xiàn)有識(shí)別算法的技術(shù)特點(diǎn)和應(yīng)用特征，通過(guò)引入新的處理過(guò)程、優(yōu)化模型和參數(shù)、融合方法，提高識(shí)別計(jì)算的有效性。
　　本文的主要工作包括:分析了圖像增強(qiáng)對(duì)識(shí)別性能的影響，通過(guò)對(duì)噪聲數(shù)據(jù)進(jìn)行分析，得到了圖像噪聲干擾識(shí)別特征提取的潛在趨勢(shì)，提出了一種針對(duì)表情特征描述的相似性增強(qiáng)方法，使用圖像增強(qiáng)技術(shù)獲取圖像的邊緣特征，提取圖像的關(guān)鍵特征并減少圖像噪聲，為提高表情對(duì)象

17、分類(lèi)的有效性提供條件。針對(duì)人臉表情的變化特點(diǎn)，本文提出了一種基于小波變換(DWT)的圖像分割以及統(tǒng)計(jì)分析方法，成功地提取人臉表情特征，供后續(xù)過(guò)程進(jìn)行識(shí)別。大部分自然圖像都包含了豐富的方位信息，如垂直或水平邊界。DWT有效地消除了噪聲，保留了圖像邊緣的細(xì)節(jié)信息。運(yùn)用方位信息，我們實(shí)現(xiàn)了低內(nèi)存、低計(jì)算復(fù)雜度的基于DWT的特征提取方法。本研究不僅為經(jīng)典DWT提供了一種應(yīng)用方案，也為特征提取提供了新的解決辦法。在小波變換之前，本文使用了去噪算法

18、對(duì)人臉圖像進(jìn)行去噪處理，然后進(jìn)行小波變換，最后重構(gòu)圖形并進(jìn)行識(shí)別。本文深入研究了分水嶺轉(zhuǎn)換計(jì)算方法，提出了一種使用了非剛性配準(zhǔn)原則的計(jì)算模式，有效解決了形狀和臉部組成成分的分解問(wèn)題。論文還使用主成分分析法對(duì)圖像的形狀特征進(jìn)行降維處理，最后基于神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)。
　　本文的主要研究?jī)?nèi)容涵蓋了表情識(shí)別的主要方面，包括面部表情表示和特征提取、面部表情分割的方法、基于濾波反投影的紋理分析、基于小波提升的紋理分析
　?。ㄒ唬┟娌勘硎竞?/p>

19、特征提取
　　本部分主要討論如何進(jìn)行圖像數(shù)據(jù)預(yù)處理，它是后序算法的重要基礎(chǔ)。首先描述了圖像的預(yù)處理和增強(qiáng)過(guò)程，并使用低級(jí)圖像處理算法進(jìn)行處理。本文提出的降噪過(guò)程，綜合考慮了低噪聲的原型對(duì)象以及亮度連續(xù)的人臉表面，從而在下一步操作之前，突出了感興趣的對(duì)象;在此基礎(chǔ)上提取特征進(jìn)行對(duì)象分類(lèi)。本文的方法一方面解決了計(jì)算維度過(guò)高的問(wèn)題，同時(shí)，將圖像投向低維坐標(biāo)系，使得從人臉表情識(shí)別系統(tǒng)提取出的面部特征保持高感知質(zhì)量。我們的核心思想是，跟蹤面

20、部肌肉動(dòng)作，突出感興趣的目標(biāo)對(duì)象，降低了光照、噪音的影響。
　　技術(shù)上，本文通過(guò)基于形態(tài)學(xué)的變換和分水嶺變換，較好地突出了感興趣的目標(biāo)對(duì)象的形狀。在不同尺度下，本文增強(qiáng)了亮度值較大的像素點(diǎn)與暗像素點(diǎn)之間差異。通過(guò)使用變換操作符，不僅減少了光照和噪聲的隱形，而且將圖像的隱含特征塊聚集在一起。本文方法的新穎之處是基于在更亮處和黑色圖像區(qū)域增強(qiáng)對(duì)比度，用結(jié)構(gòu)化像素和圖像細(xì)節(jié)代替所選的像素，從而能夠基于圖像尺寸和分水嶺細(xì)節(jié)知識(shí)，將面部特征

21、與背景分割開(kāi)來(lái)，突出了感興趣的區(qū)域，如眼睛、鼻子和嘴。增強(qiáng)的面部特征是使用主成分分析法提取的，并送入神經(jīng)網(wǎng)絡(luò)用于分類(lèi)。
　　（二）面部表情分割
　　本部分主要研究如何將二維面部圖像分割為光照不變、且具有最小表情變化和旋轉(zhuǎn)的圖像塊。本文提出了一種基于小波變換的增強(qiáng)top-hat變換操作以及bottom-hat變換操作，該方法可以量化分割算法對(duì)面部特征的感知能力，通過(guò)重建一系列的投影，重新在一個(gè)對(duì)象中組織內(nèi)部結(jié)構(gòu)信息。在匯總每條

22、線的響應(yīng)之前，通過(guò)采用傅里葉切片定理過(guò)濾出已提取的增強(qiáng)輪廓，用來(lái)估計(jì)臉部形狀。該方法不僅不受旋轉(zhuǎn)、照明和噪聲的影響，而且可以利用已提取的不完整數(shù)據(jù)重建圖像。本文通過(guò)離散小波變換和離散余弦變換對(duì)比實(shí)驗(yàn)，分析了提取有效特征的效果。我們證明，由于圖像中的低頻分量比高頻分量視覺(jué)效果更顯著，所以提取到的低維特征向量是訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類(lèi)器的重要數(shù)據(jù)。
　　為評(píng)測(cè)本文算法的有效性和實(shí)用性，我們使用了日本女性面部表情數(shù)據(jù)庫(kù)(JAFFE)。為了從每副

23、圖像中獲取感興趣的數(shù)據(jù)區(qū)域，使用本文的方法首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。在對(duì)象分割階段，對(duì)象被看成具有密度結(jié)構(gòu)的表面，本文使用分水嶺分割自動(dòng)地將面部表情特征從背景從分離出來(lái)，并高亮度的顯示剛興趣的區(qū)域，如:眼睛、眉毛、鼻子、嘴巴等區(qū)域，以便進(jìn)行后序的機(jī)器學(xué)習(xí)。
　　本文測(cè)試了基于PCA和基于神經(jīng)網(wǎng)絡(luò)的分水嶺分割的算法結(jié)果，結(jié)果表明，在JAFFE數(shù)據(jù)庫(kù)上的識(shí)別精度達(dá)到98％。
　?。ㄈ┗跒V波反投影的紋理分析
　　面部表情和皮

24、下肌肉的一種或多種運(yùn)動(dòng)有關(guān)，但不同的觀察者看到這些表情時(shí)，可能有不同的理解。為避免產(chǎn)生有歧義的輸出，本文研究了基于濾波反向投影的非線性轉(zhuǎn)換面部描述子來(lái)估計(jì)轉(zhuǎn)換參數(shù)，轉(zhuǎn)換參數(shù)為后序的離散小波變換提供輸入數(shù)據(jù)。Radom變換可以捕獲圖像的方位特征，DWT變換將圖像轉(zhuǎn)換為小波子空間，從而分離出有意義的數(shù)據(jù)，分離出來(lái)的數(shù)據(jù)特征向量可用于神經(jīng)網(wǎng)絡(luò)分類(lèi)器。
　　選擇JAFFE作為實(shí)驗(yàn)數(shù)據(jù)庫(kù)，在實(shí)驗(yàn)階段，本文測(cè)試了Radon投影的效果、形態(tài)邏輯

25、操作預(yù)處理的效果、DWT方法的性能以及DCT-PCA域中濾波反向投影的效果。實(shí)驗(yàn)結(jié)果表明:識(shí)別精度主要處決于對(duì)輸入圖像的姿態(tài)、光照和面部變化的處理。為識(shí)別輸入圖像，對(duì)DCT系數(shù)進(jìn)行PCA變換，計(jì)算訓(xùn)練向量中具有最大變化的特征向量。訓(xùn)練階段使用了136個(gè)特征向量，測(cè)試階段使用了70個(gè)特征向量。然后使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練PCA過(guò)程的輸出。
　　實(shí)驗(yàn)結(jié)果表明:用于消除噪聲和不規(guī)則變化的形態(tài)學(xué)開(kāi)操作和閉操作增強(qiáng)了有利于表情識(shí)別的低頻成分;同時(shí)，

26、濾波反向投影有效地增強(qiáng)了面部數(shù)據(jù)的提取。顯然，這兩種方法都有利于提取面部數(shù)據(jù)中的可視低頻成分，從而提高表情識(shí)別的精度。
　?。ㄋ模┗谛〔ㄌ嵘募y理分析
　　本部分主要利用小波提升方法和主成分分析法分析面部表情。本文提出了一種利用高通和低通濾波器的相似性的方法，以實(shí)現(xiàn)更快的小波變換，從而提升解決方案的有效性。我們注意到了利用非線性高通與低通濾波器的相似性，本文在提升方案中加入了中值濾波處理，利用它在壓縮信號(hào)方面的潛力，即它所

27、擁有的兩種相似結(jié)構(gòu)的計(jì)算能力，能夠根據(jù)壓縮完的一半數(shù)據(jù)樣本來(lái)預(yù)測(cè)出另一半數(shù)據(jù)樣本。整個(gè)轉(zhuǎn)換過(guò)程分為三個(gè)階段，這三個(gè)階段不斷的重復(fù)執(zhí)行，直到預(yù)測(cè)完所有數(shù)據(jù)樣本。像其他的數(shù)字圖像處理一樣，減少高頻分量不會(huì)給圖像帶來(lái)視覺(jué)上的影響。
　　許多之前的研究結(jié)果中強(qiáng)調(diào)的旋轉(zhuǎn)、光照和噪音等影響系統(tǒng)性能的因素對(duì)本文的算法不會(huì)產(chǎn)生影響。該系統(tǒng)的最后一步使用開(kāi)始的兩步提供的信息，來(lái)準(zhǔn)確識(shí)別面部表情（高興，悲傷，中性，恐懼，厭惡，憤怒和驚訝）。本文對(duì)不同

28、的算法進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果表明，這些方法是可行的，而且實(shí)驗(yàn)表明，本文提出的解決方案，增強(qiáng)了程序效能，改進(jìn)了神經(jīng)網(wǎng)絡(luò)對(duì)面部表情識(shí)別的表現(xiàn)。為了分類(lèi)臉部特征提取，我們使用JAFEE和PICS數(shù)據(jù)庫(kù)的圖片對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。實(shí)驗(yàn)證明，本文方法在減少噪音、修改其他不規(guī)則的地方以及克服傳統(tǒng)方法的缺點(diǎn)上，都體現(xiàn)出明顯的有效性，從而對(duì)人臉表情識(shí)別系統(tǒng)提供了另一種解決方案。
　　人機(jī)交互設(shè)備在日常生活中的應(yīng)用日漸增多，相關(guān)技術(shù)也在不斷的發(fā)展，但人

29、臉表情識(shí)別的問(wèn)題仍舊沒(méi)有得到解決。我們擁有的計(jì)算機(jī)設(shè)備的存儲(chǔ)能力在不斷的提高，這也刺激了我們需要更多的與其它人或事物保持聯(lián)系，更多地了解他們的信息。因此，越來(lái)越多的智能設(shè)備出現(xiàn)在我們的日常生活中，但這也帶來(lái)了一個(gè)問(wèn)題，即:人和智能設(shè)備之間的交流，我們需要更完善的方式來(lái)填補(bǔ)人機(jī)交互之間的語(yǔ)義鴻溝。為了能建設(shè)更友好的人機(jī)交互系統(tǒng)，使用人臉表情進(jìn)行有效地交流成為一種必然的方式。這意味著我們需要捕獲人臉對(duì)象、記錄人臉行為并且利用已有的信息進(jìn)行分

30、析和決策。本文針對(duì)人臉表情識(shí)別的問(wèn)題，提出了一些有用的解決方案。
　　總體來(lái)說(shuō)，本文的主要?jiǎng)?chuàng)新如下:
　　(1)將圖像分割成有意義的同構(gòu)塊是圖像分析和機(jī)器視覺(jué)中的關(guān)鍵問(wèn)題。使用分水嶺進(jìn)行圖像數(shù)據(jù)分割或?qū)D像進(jìn)行形態(tài)學(xué)操作，是將圖像對(duì)象表示成與形狀有關(guān)的特征。本文提出了一種基于Top-hat變換預(yù)處理方法，能夠有效降低光照、噪音的影響。通過(guò)對(duì)top-hat和bottom-hat進(jìn)行增強(qiáng)，并應(yīng)用在分水嶺轉(zhuǎn)化中，以此提取有效的面部

31、特征進(jìn)行表情識(shí)別。我們發(fā)現(xiàn)，Top-hat變換更適于提取基于暗背景的明亮對(duì)象提取:而bottom-hat則適用于基于亮背景的暗對(duì)象提取。在實(shí)際的應(yīng)用中，暗圖像特征和亮圖像特征均存在于不同尺度的圖像中。如果能提取各種尺度下的圖像暗特征和亮特征，并應(yīng)用于之后的分析，那圖像增強(qiáng)的效果將大大提高。所以，本文方法致力于捕獲這些特征，通過(guò)增大不同尺度下圖像亮區(qū)域和暗區(qū)域的對(duì)比，有效減少了光照與噪聲信號(hào)的干擾，增強(qiáng)了有利于進(jìn)行識(shí)別的對(duì)象的基本特征。<

32、br>　　(2)使用中值濾波器進(jìn)行小波提升，使得圖像的方位特征中的非垂直或非水平的線性邊界得以最大化。該方法充分利用了高通濾波器和低通濾波器的相似性，加快小波變換的實(shí)現(xiàn)。本文的方法證明，首先使用形態(tài)濾波器減少由于光照和噪音影響帶來(lái)，然后在小波提升中使用中值濾波器，是一條在消除噪音的同時(shí)保留圖像中的有用信息的有效手段。
　　(3)本文提出了一種提高表情識(shí)別系統(tǒng)的精確性和魯棒性的方法，基于濾波反投影方法重構(gòu)對(duì)象的內(nèi)部結(jié)構(gòu)信息，再利用一

33、系列投影進(jìn)行數(shù)學(xué)重構(gòu)，增強(qiáng)了表情識(shí)別中的基本特征。圖像的投影形成特征向量，對(duì)該向量進(jìn)行Radon轉(zhuǎn)換提取圖像灰度；再使用反投影生成向量，近似表示原始對(duì)象的形狀。為了避免直接投影的缺陷，使用傅里葉中的切片定理過(guò)濾光強(qiáng)分布。使用以上的小波變換方法，進(jìn)行降維和圖像去噪，得到了更好的圖像表示方法。在此上述表示框架下，小的圖像系統(tǒng)表示噪聲，大的圖像系數(shù)表示重要的圖像特征。特別地，離散小波變換用于把圖像對(duì)象壓縮成更小更方便管理的數(shù)據(jù)，從而能從少量的

34、數(shù)據(jù)中提取有意義的圖像信息。我們從特征向量中提取出對(duì)光照和噪音不變的臉部特征，并進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。最后，基于結(jié)果圖像的逆小波變化，提供了具有本質(zhì)特征的重構(gòu)圖像，并以此作為進(jìn)行神經(jīng)網(wǎng)絡(luò)分類(lèi)器的訓(xùn)練數(shù)據(jù)。
　　(4)研究了反投影過(guò)濾器對(duì)離散余弦變換的影響。在反投影過(guò)濾之前，本文對(duì)圖像進(jìn)行了形態(tài)學(xué)開(kāi)操作和閉操作，并使用Radon變換進(jìn)行轉(zhuǎn)換。在此變換中，DCT變換用于提取旋轉(zhuǎn)不變特征。低頻率的切片成分在圖像中比高頻成分更具有視覺(jué)意義，

35、因此，在DCT變換中，丟棄高頻系數(shù)，并量化剩余的系數(shù)。通過(guò)DCT變換的應(yīng)用，將輸入序列表示為基于權(quán)重余弦序列的和。其結(jié)果系數(shù)用于描述信號(hào)，從而極大的減少數(shù)據(jù)量，同時(shí)也保留了圖像重要信息。為進(jìn)一步減少數(shù)據(jù)信息，使用主成分分析提取圖像的特征。通過(guò)提取面部數(shù)據(jù)的重要特征，保留低階主成分，丟棄高階成分，PCA不僅減小圖像大小，減少圖像數(shù)據(jù)量，從而完成圖像的降維。最后，使用前饋反向傳播神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而完成表情識(shí)別。
　　人臉表情分析在

36、人機(jī)交互中起著至關(guān)重要的作用。表情識(shí)別與人臉面部的運(yùn)動(dòng)變化有關(guān)，它提供了豐富的關(guān)于人的情感、內(nèi)涵及其它內(nèi)在狀態(tài)的信息。盡管目前仍舊沒(méi)有關(guān)于“情感”一詞的精確定義，但人類(lèi)情感的存在是毫無(wú)疑問(wèn)的，而且它是我們的日常生活的重要組成部分。人類(lèi)能夠理解“情感”，并能針對(duì)它人的“情感”做出相應(yīng)的反應(yīng)，正因?yàn)槿绱?，人?lèi)的之間的交互活動(dòng)才顯得如此豐富多彩。本文根據(jù)靜態(tài)數(shù)據(jù)，解決了人臉表情識(shí)別的度量的問(wèn)題。首先根據(jù)數(shù)據(jù)庫(kù)進(jìn)行人臉對(duì)象檢測(cè)，然后進(jìn)行關(guān)鍵點(diǎn)的

37、面部表情特征提取并建立模型。計(jì)算機(jī)閱讀面部表情和數(shù)據(jù)提取的能力至關(guān)重要，因?yàn)檫@決定了計(jì)算機(jī)是否能做出正確的回應(yīng)，正確的表情讀取是表情分類(lèi)正確與否的關(guān)鍵。一個(gè)性能優(yōu)越的表情系統(tǒng)需要處理面部識(shí)別、特征提取和分類(lèi)等問(wèn)題，且其結(jié)果與個(gè)人的年齡、周?chē)h(huán)境、身體姿態(tài)等外部因素均無(wú)關(guān)。今后，我們將使用更多的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)對(duì)本文的算法進(jìn)行測(cè)試，并進(jìn)一步提高算法的適應(yīng)性。同時(shí)，人臉表情識(shí)別系統(tǒng)還需要捕獲并識(shí)別更復(fù)雜多變的表情對(duì)象，這些是我們今后進(jìn)一步研究的方