基于多粒度特征融合的維度語音情感識別方法研究.pdf

1、國內圖書分類號：TP39學校代碼：10213國際圖書分類號：681.3密級：公開碩士碩士學位論文學位論文基于多粒度特征融合的維度語音情感識別方法研究碩士研究生：陳肖導師：李海峰教授申請學位：工學碩士學科：計算機科學與技術所在單位：計算機科學與技術學院答辯日期：2016年6月授予學位單位：哈爾濱工業(yè)大學摘要I摘要源于人工智能領域語音處理技術的飛速發(fā)展，人們希望可以和機器進行更自然、貼切的交流。語音情感識別是繼語音識別之后，人機交互中的又一

2、熱點問題，得到了研究者們廣泛的關注。近年來，隨著心理學、生理學、神經(jīng)科學、認知科學和計算機科學的發(fā)展，探究符合人類情感表達相關聯(lián)的新特征，是當前研究領域內十分重要的研究課題。但目前在維度語音情感識別方面的研究較少，而且沒有公開認可的維度語音情感特征集和高效的分類方法。在維度語音情感特征集的構建方面，本文提取了維度語音情感識別常用的韻律學特征、音質特征和基于譜的特征，另外根據(jù)Teager等人實驗發(fā)現(xiàn)的語音非線性產(chǎn)生模型，結合梅爾聽覺心理認

3、知規(guī)律，我們提取了非線性Teager_Mel特征。這樣提取的特征既可以考慮到語音產(chǎn)生的過程的非線性，同時也綜合了人耳聽覺的心理效應，分別在公開的情感語料庫DISEC和VAM進行了實驗，結果表面基于Teager非線性理論提取的特征識別效果要優(yōu)于在語音處理中常用的梅爾倒譜系數(shù)。在上面提取的維度語音情感特征集的基礎了，我們對此特征集做了一系列的后處理。傳統(tǒng)的維度語音情感識別系統(tǒng)都是采用全局統(tǒng)計特征，即將提取的全句的幀特征進行統(tǒng)計，然而這種劃分

4、的方式有可能造成韻律學細節(jié)信息的丟失，所以本文研究了更加合適的情感識別單元，在語段粒度上進行各種統(tǒng)計量的計算。同時我們考慮到人腦對情感認知處理的三階段過程，即醞釀階段、情感充分表達階段和情感收尾階段。將這種認知過程的起伏變化用數(shù)學上的高斯函數(shù)進行模型化，這樣我們得到了窗特征。為了能從人腦處理語音情感信號的角度出發(fā)，同時考慮到語音的時序信息，本文提出了一個基于認知機理的回饋神經(jīng)網(wǎng)絡（CMRNN），并將CMRNN應用于維度語音情感識別。我們