聽話要聽音— 情感語音處理技術

1、聽話要聽音聽話要聽音—情感語音處理技術情感語音處理技術原作者：陶建華2005020411:49:31同樣一句話，往往會由于說話人的情感不同，其意思和給聽者的印象就會不同，所謂“聽話聽音”就是這個道理。傳統(tǒng)的語音處理系統(tǒng)多著眼于語音詞匯傳達的準確性，而忽略了包含在語音信號中的情感因素。傳統(tǒng)的語音處理系統(tǒng)只是反映了信息的一個方面，而忽略了與知識世界相對應且具有同等重要地位的感性科學世界，這其實也是信息處理的一個重要組成部分。近幾年來，語音識

2、別與合成技術在語音分析、自然語言處理、信號處理、隨即過程處理等方法的推動下獲得了很大的發(fā)展。但從語音信號中提取情感特征，分析人的情感與語音信號的關聯，只是國內外剛剛興起的研究課題。目前這一領域的研究主要還是集中在情感的聲學特征分析上，有關情感建模以及結合情景、語言特征建立完整的情感控制模型還少有涉及。聲學特征判斷情感因素聲學特征判斷情感因素當說話人處于不同情感狀態(tài)時，會在語速上表現出一定的變化，在激動狀態(tài)時，語速較平常狀態(tài)快。因此可以利

3、用判斷語音信號中的語速和發(fā)話持續(xù)時間等參數來判別情感中激動成分的程度。同語音信號中的時間特征相類似，信號的振幅特征和各種情感信息也具有較強的相關性。由于人對語音的感知非常多樣化，全面考慮情感的聲學特征是一個非常困難的工作，考慮到計算機的處理能力，只能通過部分參數從一定程度上對情感語音的聲學特性進行概括。一般情況下，語音情感相關性的表示形式可以通過說話人模型或者聲學模型來實現。由于漢語的韻律多以音節(jié)為處理單位，在這種有調音節(jié)的韻律分析中，

4、音節(jié)的韻律特征起著非常重要的作用，為了便于在漢語中處理，通常將情感語音的聲學特征直接分為三類：韻律類、音質類和清晰度類。韻律類韻律類主要用來表征不同情感狀態(tài)下語氣的變化，它包括如下韻律參數描述。平均基頻：整個語句的基頻（F0）平均值，根據語音信號分析聲帶的共振頻率?；l范圍：整個語句的基頻范圍，基頻范圍在很大程度上能夠反映人的情緒狀態(tài)。重音的突變特性：在情感語句中，重音多體現情感焦點特性，經常由情感關鍵詞承載。表1針對五種基本情感狀態(tài)列

5、出了幾種基本聲學參數較為平均的體現。從語音中抽取個性特征從語音中抽取個性特征通常情況下，語音理解是從一段語音中分析出文本，讓系統(tǒng)“聽懂”語音的內容。它的研究重點是分析語音中的共性特征。情感語音的研究則是從語音中抽取個性特征，并加以參數化描述。充分的利用情感韻律特征，從中獲取說話人意向及部分語義信息，可以從一定程度上提高理解的準確率。由于一般情況下人們很少進行典型情緒的發(fā)音，說話的情感狀態(tài)通常分布在一個連續(xù)的狀態(tài)空間里，在MarcSchr

6、der（2001）等人的工作中，采用了三個參數來對其進行描述，分別是激活度（Activation）、評價（Evaluation）和強度（Power），不同的情感可以對應到這三個參數的值上，下表2為MarcSchrder給出的一個經驗對照表。對于一個給定的情感三維坐標，其相應的聲學特征具有一定的關聯特性。這種三維坐標的形式，提供了一種情感語音的特征相似性比較的途徑。例如，生氣和恐懼相比較可發(fā)現具有相似的聲學特征和情感特征。聲學上說它們在平

7、均傾斜度、傾斜范圍、語速和清晰度方面是相似的，不同點是害怕的傾斜度改變比中性要緩、語速要快、強度正常、聲音不規(guī)則。在三維情感空間中這兩個情緒在Activation和Evaluation很近，在Power則有所不同。因而使得情感的聲學特征具有一定的可預測性。當然該三維坐標并不能解決所有的情感特征，例如擔心、熱愛等情感則不能只通過三維空間的描述來說明，同時由于情感受不同的人感知，反映在語音的聲學特征上亦會具有不同的表現形式，因此還需要在情感