遮擋條件下的聾啞人情感計(jì)算方法研究.pdf

1、聾啞人屬于一個特殊的人類群體，同時(shí)他們也存在情感交流，與健聽人相比，聾啞人無法借助語音來表達(dá)他們的感情，更多的是借助面部表情來表達(dá)，所以可以利用面部表情來識別聾啞人的情感狀態(tài)。對于聾啞人而言，他們進(jìn)行交流的最自然方式就是使用手語。手形、手臂的運(yùn)動同時(shí)加上表情、口型以及其它身體姿勢所表達(dá)思想的視覺語言就是手語。手語通過手的形狀、位置與方向的變化來表達(dá)特定的語義，在聾啞人交流過程中起了非常重要的作用。在手語交流過程中，手部經(jīng)常會遮擋面部的五

2、官，就無法使用針對健聽人的情感計(jì)算方法（即利用面部五官特征）來識別聾啞人的情感狀態(tài)，迫切需要研究出適應(yīng)于聾啞人的情感計(jì)算方法。
　　本論文分析研究了特征臉方法，并將其應(yīng)用于識別聾啞人的情感計(jì)算，具體工作如下：
　　(1)對課題組自建的聾啞人的手語視頻進(jìn)行了研究，發(fā)現(xiàn)聾啞人在使用手語過程當(dāng)中，手部經(jīng)常會遮擋面部五官，但是對于嘴部的遮擋概率要低于遮擋其他五官的概率。而且經(jīng)過研究發(fā)現(xiàn)聾啞人的嘴部在交流過程中有著無可替代的作用。

3、r>　　(2)目前因?yàn)槊@啞人手語視頻庫的稀缺，本課題組著手拍攝了聾啞人的手語視頻庫，創(chuàng)建了針對聾啞人的表情視頻庫。本課題組自建了聾啞人表情視頻庫，該數(shù)據(jù)庫包含564張表情圖片和4個6.5GB大小的表情視頻，內(nèi)容以驚訝、憤怒、高興、恐懼、悲傷和厭惡這6種表情的表達(dá)為主。
　　(3)針對聾啞人使用手語進(jìn)行交流，而且嘴部形狀在交流過程中的重要作用，提出了利用嘴部特征進(jìn)行聾啞人情感計(jì)算的研究。首先利用膚色信息從聾啞人面部圖像中提取出嘴部區(qū)