情感說(shuō)話人識(shí)別中的基頻失配及其補(bǔ)償方法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展和社會(huì)信息化程度的提高，說(shuō)話人識(shí)別技術(shù)具有了越來(lái)越廣闊的應(yīng)用前景，同時(shí)用戶對(duì)說(shuō)話人識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性的要求也越來(lái)越高。在實(shí)際應(yīng)用環(huán)境中，說(shuō)話人識(shí)別系統(tǒng)的性能受到很多因素的影響，情感變化是其中最為常見(jiàn)的一種。我們將訓(xùn)練或者測(cè)試語(yǔ)料中包含情感語(yǔ)音的說(shuō)話人識(shí)別稱為情感說(shuō)話人識(shí)別，訓(xùn)練與測(cè)試時(shí)說(shuō)話人情感狀態(tài)的不一致會(huì)改變說(shuō)話人個(gè)性特征的分布，從而導(dǎo)致測(cè)試語(yǔ)音與訓(xùn)練模型的模式不匹配，極大地降低系統(tǒng)的識(shí)別性能。
　　

2、 針對(duì)僅有中性訓(xùn)練語(yǔ)音的情感說(shuō)話人識(shí)別問(wèn)題，本論文從分析各種情感語(yǔ)音與中性語(yǔ)音的差異出發(fā)，以研究情感變化引發(fā)的基頻失配為基礎(chǔ)，利用基頻與MFCC之間存在的關(guān)聯(lián)，從情感補(bǔ)償框架中的情感拓展、情感屏蔽、情感規(guī)整和得分補(bǔ)償四個(gè)技術(shù)角度研究了相應(yīng)的算法，來(lái)削弱情感變化對(duì)說(shuō)話人識(shí)別性能的影響。
　　 本論文的主要貢獻(xiàn)總結(jié)如下：
　　 1.提出了一種新的情感語(yǔ)音的劃分與檢測(cè)方法
　　 鑒于情感檢測(cè)在情感補(bǔ)償方法中的重要性以

3、及目前情感識(shí)別算法的不可靠性，本文提出了一種依據(jù)模式失配程度來(lái)劃分與檢測(cè)情感語(yǔ)音的方法，根據(jù)不同情感語(yǔ)音與中性語(yǔ)音之間的差異，將情感語(yǔ)音劃分為高差異類(憤怒、高興和驚慌)與低差異類(悲傷)，由此提出了一種基于MFCC特征與韻律特征相結(jié)合的差異檢測(cè)方法來(lái)區(qū)分這兩類語(yǔ)音。
　　 2.首次研究了情感變化引發(fā)的基頻失配問(wèn)題
　　 從發(fā)音機(jī)制上研究了情感影響下基頻失配產(chǎn)生的原理，分別從前人有關(guān)聲源和聲道之間互擾的研究、基頻與MFC

4、C的關(guān)聯(lián)、基頻失配與說(shuō)話人識(shí)別性能間的關(guān)系三方面分析了利用基頻失配來(lái)評(píng)估模式失配的可行性，并對(duì)通過(guò)修改基頻降低基頻失配來(lái)降低模式失配的可行性進(jìn)行了詳盡的實(shí)驗(yàn)分析。
　　 3.首次提出并研究了基于基頻失配的情感補(bǔ)償方法
　　 針對(duì)高差異類情感語(yǔ)音引發(fā)的模式失配問(wèn)題，本文先用差異檢測(cè)方法檢測(cè)出該類語(yǔ)音，再通過(guò)拓展生成與之類似的情感語(yǔ)音，或者通過(guò)屏蔽、規(guī)整和得分補(bǔ)償?shù)确椒ㄏ鋵?duì)系統(tǒng)的負(fù)面影響。具體方法如下：
　　 1

5、)基于基頻失配檢測(cè)的情感屏蔽方法
　　 根據(jù)高差異類情感語(yǔ)音中基頻偏高的部分相比基頻偏低的部分與中性模型失配更嚴(yán)重這一特性，提出了基于基頻失配檢測(cè)的情感屏蔽方法，采用剔除和規(guī)整兩種策略屏蔽語(yǔ)音的高失配部分，從不同程度上降低了情感測(cè)試語(yǔ)音與中性訓(xùn)練語(yǔ)音之間的失配程度。
　　 2)基于基頻映射的情感拓展方法
　　 通過(guò)調(diào)節(jié)中性語(yǔ)音的基頻均值來(lái)合成在特征分布上更接近于真實(shí)的高差異類情感的語(yǔ)音，以此構(gòu)建說(shuō)話人的“高差異類

6、情感模型”，并將其與中性模型相結(jié)合，來(lái)提高說(shuō)話人模型對(duì)多情感狀態(tài)下的語(yǔ)音特征的描述能力。
　　 3)基于基頻修正的情感規(guī)整方法
　　 從修正高差異類情感語(yǔ)音與中性語(yǔ)音之間的基頻失配入手，通過(guò)使其基頻均值趨向于中性語(yǔ)音來(lái)降低兩者聲學(xué)特征之間的不匹配程度，從而有效降低情感變化對(duì)說(shuō)話人識(shí)別的影響。
　　 4)基于基頻失配評(píng)估的得分補(bǔ)償方法
　　 鑒于情感變化引發(fā)的基頻失配與說(shuō)話人識(shí)別率之間的相關(guān)性，以基頻偏差區(qū)