基于表情和語音雙模態(tài)的兒童情感識別研究.pdf

1、近年來，基于生物信號（如人臉表情圖像、語音信號、腦電信號等）的情感識別研究受到了國內(nèi)外研究人員的廣泛關(guān)注，已經(jīng)成為情感計(jì)算、模式識別以及計(jì)算機(jī)視覺等領(lǐng)域的一個(gè)研究熱點(diǎn)。表情、語音等生物信號是人類表達(dá)情感的重要媒介，研究人員通過設(shè)計(jì)一些特征以及算法對這些生物信號進(jìn)行分析，可以使計(jì)算機(jī)具備識別人類情感狀態(tài)的能力。盡管單模態(tài)情感識別研究已經(jīng)取得了很大的進(jìn)步，然而可以注意到，目前情感識別的研究很大一部分是針對如表情、語音或腦電等單一生物信號（模

2、態(tài)）進(jìn)行的。相比單模態(tài)，兩種或多種模態(tài)擁有更多的情感信息，因此，深度挖掘和融合多種模態(tài)的生物信號，是進(jìn)一步豐富情感識別的研究、提出更為有效的情感識別方法的一種有效途徑。本文主要研究了基于語音信號和視頻信號的雙模態(tài)情感識別這一問題，在雙模態(tài)數(shù)據(jù)采集與整理、雙模態(tài)特征提取以及分類等方面做了一些工作，具體研究內(nèi)容如下:
　　(1)創(chuàng)建了一個(gè)兒童雙模態(tài)情感數(shù)據(jù)庫?，F(xiàn)有的雙模態(tài)情感數(shù)據(jù)庫均以成人為采集對象，以兒童為對象的公共數(shù)據(jù)庫很少。借助

3、兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室這個(gè)平臺，設(shè)計(jì)了專業(yè)的針對兒童的情感誘發(fā)實(shí)驗(yàn)范式，共采集了26名兒童的語音和表情雙模態(tài)情感數(shù)據(jù)，并通過投票方式，對數(shù)據(jù)進(jìn)行情感標(biāo)注。
　　(2)全面綜述了基于表情或語音的單模態(tài)情感識別研究中的特征提取技術(shù)，并詳細(xì)介紹表情識別、語音情感識別中常用的特征，同時(shí)在多個(gè)人臉表情庫、語音數(shù)據(jù)庫上做了簡單的單模態(tài)情感識別實(shí)驗(yàn)。此外，結(jié)合上述表情和語音特征，給出了兒童雙模態(tài)情感數(shù)據(jù)庫的基準(zhǔn)識別性能。
　　

4、(3)提出了一種基于雙稀疏線性判別分析(Bi-Sparse Linear Discriminant Analysis，BSLDA)的語音與表情特征融合算法。BSLDA算法首先利用語音和視頻的情感標(biāo)簽信息構(gòu)造出一個(gè)語義特征空間，然后將語音和視頻特征同時(shí)投影到該語義特征空間中。在該語義特征空間中，投影后的語音和視頻特征集具有盡可能相似的分布，從而能夠有效地進(jìn)行更進(jìn)一步的融合，融合后的特征具有較強(qiáng)的情感判別能力。此外，在特征投影過程中，BSL

5、DA還能夠根據(jù)各模態(tài)的特征對于情感分類的貢獻(xiàn)，分別選擇出各模態(tài)的重要的特征。
　　(4)提出一種融合全局與局部信息的雙模態(tài)情感識別方法。現(xiàn)有的雙模態(tài)情感識別研究大多采用的是全局特征，較少考慮各模態(tài)信號的時(shí)序和局部信息。針對語音和視頻的時(shí)序信號特點(diǎn)，本方法考慮了兩種模態(tài)的局部信息，提出一種多尺度特征提取方法提取兩種模態(tài)的局部特征與全局特征，一起用于雙模態(tài)情感識別。為了進(jìn)一步地對全局與局部特征進(jìn)行處理以及實(shí)現(xiàn)雙模態(tài)情感識別，提出了一個(gè)