基于譜圖特征的語音情感識(shí)別若干問題的研究.pdf

1、為了使人機(jī)交互系統(tǒng)更加自然和智能，針對(duì)語音情感識(shí)別的研究受到越來越多學(xué)者的關(guān)注。近幾十年，針對(duì)語音情感識(shí)別的研究已經(jīng)取得了較大的進(jìn)步，語音情感識(shí)別系統(tǒng)的性能得到了巨大的提升。然而，在現(xiàn)有的語音情感識(shí)別系統(tǒng)中，仍然缺乏一些能夠準(zhǔn)確識(shí)別語音情感信息的特征，因此，針對(duì)語音情感識(shí)別特征提取的研究，仍是語音情感識(shí)別領(lǐng)域研究的重點(diǎn)。語音中的情感內(nèi)容與頻譜能量的分布有密切的關(guān)系，部分學(xué)者將一段語音的頻域系數(shù)構(gòu)建成圖像——譜圖，并采用圖像描述子從譜圖中

2、提取語音情感相關(guān)特征，取得一定的成果。由于該方向在情感識(shí)別領(lǐng)域剛剛興起，仍然存在許多問題需要研究。首先、譜圖中的哪些信息與語音情感類型有關(guān)？其次，如何從譜圖中有效地提取這些信息？針對(duì)上述問題，本文基于語音情感信息與譜圖紋理及能量分布的密切相關(guān)性，開展了基于語音譜圖特征的情感識(shí)別研究，相關(guān)研究工作如下:
　　1、基于語音情感類型與語音譜圖紋理分布的密切相關(guān)性。提出了一種基于Gabor灰度圖像譜局部二值模式(GGSLBP)特征提取方法

3、。GGSLBP首先構(gòu)建語譜圖灰度圖像;然后采用Gabor小波放大語譜圖灰度圖像的局部紋理信息，得到Gabor灰度圖像譜;最后采用局部二值模式(LBP)提取Gabor灰度圖像譜的局部紋理信息，得到GGSLBP特征。仿真實(shí)驗(yàn)顯示:與傳統(tǒng)的聲學(xué)特征相比，GGSLBP特征具有較好的識(shí)別性能。
　　2、針對(duì)局部二值模式(LBP)忽略了譜圖中幅度信息且GGSLBP特征復(fù)雜度較高的問題，提出了一種面向語音情感識(shí)別的改進(jìn)可辨別完全局部二值模式(I

4、DisCLBP_SER)特征提取方法。首先生成語譜圖灰度圖像;其次采用完全局部二值模式(CLBP)計(jì)算圖像的符號(hào)模式(CLBP_S)、幅度模式(CLBP_M);再次，不同于傳統(tǒng)DisCLBP算法，IDisCLBP_SER取消了CLBP_S、CLBP_M旋轉(zhuǎn)不變映射處理，直接采用可辨別特征學(xué)習(xí)模型計(jì)算CLBP_S、CLBP_M的全局顯著性模式集合;最后，采用全局顯著性模式集合對(duì)CLBP_S、CLBP_M特征處理，并將處理后特征級(jí)聯(lián)，得到I

5、DisCLBP_SER特征。實(shí)驗(yàn)表明:所提特征與現(xiàn)有聲學(xué)特征融合后可以提升語音情感識(shí)別系統(tǒng)的識(shí)別性能。
　　3、為探討圖像描述子中的旋轉(zhuǎn)不變性是否適用于Mel對(duì)數(shù)能量譜圖特征，提出了一種基于局部歸一化中心矩譜圖特征(LNCMSIF)提取方法。LNCMSIF首先采用二階歸一化中心矩描述Mel對(duì)數(shù)能量譜的局部能量分布信息，得到歸一化中心矩譜;然后，采用離散余弦變換消除歸一化中心矩譜系數(shù)間相關(guān)性，得到歸一化中心矩譜倒譜系數(shù);最后，將歸一

6、化中心矩譜及其倒譜系數(shù)組合在一起構(gòu)成LNCMSIF特征。旋轉(zhuǎn)不變性測(cè)試實(shí)驗(yàn)表明:旋轉(zhuǎn)不變性不完全適用于Mel對(duì)數(shù)能量譜圖特征。識(shí)別實(shí)驗(yàn)表明所提方法可以取得較好的識(shí)別結(jié)果。
　　4、考慮到圖像特征描述子的表征能力有限，不能充分地描述Mel對(duì)數(shù)能量譜中的情感信息。提出了2種基于Gabor譜局部能量分布信息的譜圖特征提取方法，分別為基于Gabor譜局部Hu不變矩譜圖特征(GSLHuM)和基于Gabor譜局部歸一化中心矩譜圖特征(GSLN