漢語語音基于包絡(luò)頻譜調(diào)制模式的連續(xù)情緒計算.pdf

1、在智能人-機交互系統(tǒng)中，語音連續(xù)情緒計算是目前流行的研究領(lǐng)域，并且得到了廣泛的應(yīng)用。雖然許多科研人員已經(jīng)提出了解決語音離散情緒識別的可能性，并取得了一些成果，但至今在語音連續(xù)情緒上仍沒有滿意的結(jié)論。
　　 本文的主要研究內(nèi)容是漢語語音連續(xù)情緒計算，即從語音信號中識別說話人當時所處的連續(xù)情緒狀態(tài)。文章描述了一個基于聽覺心理學(xué)的連續(xù)情緒計算模型-包絡(luò)頻譜調(diào)制模式(envelope spectral modulation patter

2、ns，ESMP)與情緒心理學(xué)維數(shù)(效價維、激勵維、支配維和能量維)之間的分布關(guān)系，用于人類語音連續(xù)情緒的自動識別。ESMP是從聽覺感應(yīng)長期臨界頻譜表示中提取的，包含了頻譜和臨界調(diào)制頻率成分，從而通過人類語音知覺頻譜特征而不是傳統(tǒng)的韻律特征來傳遞情緒信息。本文以漢語語音連續(xù)情緒計算為重點，主要研究內(nèi)容包括：
　　 ①模糊連續(xù)情緒語料數(shù)據(jù)庫的建立；
　　 ②人主觀辨聽實驗：語音情緒維數(shù)分析；
　　 ③機器實驗：包絡(luò)頻

3、譜特征提取、頻譜計算和情緒分類。
　　 漢語普通話模糊連續(xù)情緒語音采集：在分析當前國際上一些情緒語料數(shù)據(jù)庫的基礎(chǔ)上，獨立設(shè)計文本，確定錄音人數(shù)、語音種類(自然、模仿、誘出)、模糊情緒種類和語料數(shù)目。所研究的情緒為5種模糊基本情緒狀態(tài)：(稍微、比較和非常)喜、怒、驚、悲和懼，1種模糊二次派生情緒(稍微、比較和非常)驚喜，另取參考語音信號表征沒有情緒時的狀態(tài)。通過對采集的模糊情緒語音數(shù)據(jù)進行第一次主觀聽辨實驗，最后建立漢語模糊情緒語

4、音數(shù)據(jù)庫。
　　 第二次、三次主觀辨聽實驗：實驗研究了上述情緒在V-A-D上的分布情況。每一維可劃分7個水平，然后請正常聽力的人對第一次主觀辨聽實驗選出的情緒語料進行再次辨聽，并且鑒定每個情緒語料的7個水平在V-A-D三維空間的分布。從而得到每種情緒在V-A-D三維空間的分布結(jié)果。
　　 計算機實驗：首先，分析了情緒語音相對于參考(無情緒)語音的包絡(luò)特征(上下包絡(luò)線、包絡(luò)譜和包絡(luò)特征向量)。然后，使用全相經(jīng)驗?zāi)B(tài)分解(e

5、nsemble empirical mode decomposition，EEMD)分段冪函數(shù)插值(PPF)算法提取這些特征，通過對情緒語音信號進行EEMD得到一系列情緒本征模態(tài)函數(shù)(emotional intrinsic mode functions，IMFe)，提取每一級IMFe的頻率倒譜系數(shù)作為表征說話人情緒的特征參數(shù)，對得到的情緒特征參數(shù)用矢量量化進行識別。根據(jù)IMFe頻譜變換獲得包絡(luò)線和包絡(luò)譜，同時通過快速傅立葉變換(FFT)

6、也得到了包絡(luò)特征向量。
　　 在提取包絡(luò)特征的基礎(chǔ)上，文章進一步研究了漢語情緒語音的功率頻譜密度和能量頻譜，進而得到了ESMP。利用Matlab軟件仿真了模糊情緒的EEMD和包絡(luò)頻譜特性，得到模糊情緒的ESMP。同時，根據(jù)ESMP的峰值(PV)、峰值瞬時(IP)、形心(C)、等距寬度(EW)和橫坐標均方(MSA)，進一步在V-A-D-P四維空間中分析了維數(shù)水平和ESMP之間的關(guān)系。
　　 在漢語語音模糊情緒分類上，文章提

7、出一種新穎的、基于ESMP提取和模糊支持向量回歸(FSVR)分類器(classifier)的互相關(guān)性算法。該算法應(yīng)用于漢語語音模糊情緒((稍微、比較和非常)喜、驚和驚喜)的分類上。同時，F(xiàn)SVR分類器使用了模糊連續(xù)二分(FCB)過程，并且適用于情緒語音互相關(guān)的包絡(luò)頻譜特征。這種借助FSVR分類器的包絡(luò)頻譜互相關(guān)性算法，可以大幅提高漢語語音模糊情緒識別率，并且在識別非常喜情緒時準確率甚至可以達到92.58％。
　　 綜上所述，在進