語音情感識別關鍵技術研究.pdf

1、語音情感識別是人工智能領域的一個重要分支，是一項通過處理分析語音信號來識別說話人情感狀態(tài)的技術，在自然人機交互、疾病診斷和監(jiān)控、疲勞檢測、公共安全等領域有著日趨廣泛的應用。近年來，隨著心理學、生理學、神經科學及計算機技術的發(fā)展，語音情感識別技術取得了顯著的進步，但是由于情感的復雜性和情感理論基礎更新的滯后性，當前的研究水平距離成熟的技術應用有著很大的差距。結合當前語音情感識別研究狀況與實際需要，本文分別從特征提取、情感描述模型升級和識別

2、模型構建等不同層面逐一展開語音情感識別研究，并提出了一系列的解決方法，主要研究內容包括：
　　(1)定量地給出了不同情感狀態(tài)的情感韻律粒度，并提出了兩種基于長短時特征融合的語音情感分類方法。本文在自建離散情感語料庫的基礎之上，首先對包括韻律學特征和聲音質量特征在內的語音情感特征在不同情感狀態(tài)(高興、憤怒、悲傷、驚奇)上的變化規(guī)律進行了定性分析，其次對特征提取時長與情感區(qū)分能力之間的關聯(lián)模式進行了定量分析，并確定了最佳的語音情感特征

3、提取時長作為情感韻律粒度的衡量?；谝陨系姆治鼋Y果，及人類聽辨語音時所表現出的連續(xù)性和漸進性，本文分別提出了一種同時具有短時反饋機制和長時控制機制的全局控制Elman神經網絡模型，和一種基于情感韻律差異建模的情感韻律Elman網絡，實現了語音情感分類過程中對長短時聲學特征的有效融合。同分別使用短時和長時特征的情形相比，特征融合后的系統(tǒng)識別性能有了不同程度的提升。
　　(2)對傳統(tǒng)語音情感識別使用的情感描述模型進行了更新，開展了基于

4、維度情感描述模型的語音情感識別研究。并且考慮到國內在維度語音情感識別研究上的空白，本文建立了并發(fā)布了一個完全源于自然語音和自發(fā)情感的漢語維度情感語料庫MREC，為普通話維度情感識別研究奠定了扎實的數據基礎，填補了漢語維度情感語料庫的空白。另外還提煉總結了日常生活場景下的維度情感語料庫的錄制方法、標注方法及其測評方法。
　　(3)提出了基于回歸預測主動學習策略的維度語音情感識別方法。針對維度語音情感識別領域中的語料規(guī)模大、情感打分難

5、度大、標注工作繁重的問題，本文提出運用主動學習思想來指導維度情感的標注和識別模型的學習。為此，本文設計了包括基于委員會投票、基于最近邊界置信度和基于差異性加權置信度在內的三種回歸預測主動學習算法，用于對候選語料的信息度進行有效地估計。實驗證實，通過運用上述三種主動學習算法，本文有效地實現了對高質量訓練語料的選擇，并相應地取得了提高模型訓練效率和系統(tǒng)情感識別性能等多方面成效。該研究是主動學習思想同維度語音情感識別的首次融合。
　　(

6、4)提出了基于Kullback-Leibler測度的情感順序預測損失估計方法和基于順序敏感神經網絡的維度語音情感識別方法。考慮到語音樣本間的情感變化趨勢在判斷說話人的意圖、觀點和態(tài)度時所發(fā)揮的重要作用，本文提出在維度語音情感識別的建模過程中同時考慮情感數值預測和樣本間情感強弱順序的預測。為此，本文將維度語音情感識別任務建模為一種改進的回歸預測模型——順序敏感的神經網絡模型：首先將解決問題的關鍵轉化為，由數值損失和順序損失兩部分組成的預測

7、損失函數的最小化過程，繼而使用神經網絡學習算法實現預測損失的最小化。其中預測損失中的順序損失部分是對由預測造成的樣本間情感強弱順序錯誤程度的定義。本文提出使用概率模型對樣本間的情感強弱排序情況進行形式化描述，然后使用Kullback-Leibler概率分布距離對預測造成順序損失進行量化。該模型在維度語音情感識別的任務中能夠表現出優(yōu)異于目前被廣泛使用的支持向量回歸預測器的情感強弱順序預測能力。該研究為人-機交互系統(tǒng)正確判斷用戶情感變化，從

8、而做出正確的交互決策提供了更加可靠的技術保障。
　　(5)提出了基于分裂矢量量化的分布式語音情感識別模型。分布式語音情感識別技術是語音情感識別得以推廣的必要環(huán)節(jié)，為此本文以“客戶端低成本、數據傳輸低帶寬、情感識別高性能”為原則，提出了一種分布于客戶端-服務器端的語音情感識別模型：將語音采集、特征提取和壓縮模塊放置于客戶端，將特征解壓縮和情感識別模塊放置于遠程服務器端，使用分裂矢量量化算法實現聲學特征的壓縮。本文對自然情感語音在該分