統(tǒng)計(jì)參數(shù)語音合成中的基頻建模與生成方法研究.pdf

1、基于隱馬爾科夫模型(Hidden Markov Model，HMM)的統(tǒng)計(jì)參數(shù)語音合成是當(dāng)今主流的語音合成方法之一。該方法在訓(xùn)練階段利用錄制的語音數(shù)據(jù)庫，建立描述不同上下文環(huán)境下頻譜、基頻等聲學(xué)特征分布的統(tǒng)計(jì)聲學(xué)模型;在合成階段，該方法依據(jù)輸入文本的上下文信息，從訓(xùn)練的統(tǒng)計(jì)聲學(xué)模型中生成聲學(xué)特征，最終通過參數(shù)合成器重構(gòu)語音波形。相對單元挑選與波形拼接合成方法，基于HMM的參數(shù)合成方法具有系統(tǒng)構(gòu)建自動(dòng)化程度高、合成語音平滑流暢、系統(tǒng)尺寸小

2、等優(yōu)勢，但是其合成語音的自然度仍有待提高。
　　基頻描述了濁音產(chǎn)生過程中聲帶震動(dòng)的頻率，是一種重要的語音聲學(xué)特征。在基于HMM的參數(shù)語音合成中，基頻特征的預(yù)測性能對于合成語音的自然度有著直接的影響。此外，基頻特征的差異對于體現(xiàn)情感語音合成中的不同目標(biāo)情感也起到重要作用。相對頻譜特征，基頻特征是一種超音段特征，長時(shí)的基頻軌跡形狀受到語調(diào)、短語邊界、輕重讀等韻律屬性的影響。而傳統(tǒng)基于HMM的參數(shù)語音合成使用和頻譜類似的基頻特征提取尺度

3、和建模方法，忽略了基頻的長時(shí)特性，影響了合成語音的自然度。
　　本文圍繞統(tǒng)計(jì)參數(shù)語音合成中的基頻建模與生成方法開展研究工作，使用長度規(guī)整基頻矢量(F0 Vector, FV)、目標(biāo)逼近(Target Approximation，TA)特征等音節(jié)層表征作為基頻特征，實(shí)現(xiàn)了基于目標(biāo)逼近特征的基頻建模，提出了基于音節(jié)層特征的生成基頻后處理方法，提高了合成語音的自然度。此外，本文還進(jìn)一步將基于目標(biāo)逼近特征和高斯雙向聯(lián)想貯存器(Gaussi

4、an BidirectionalAssociative Memories，GBAM)的后處理方法應(yīng)用于合成語音的情感轉(zhuǎn)換，對于高興和生氣情感，取得了優(yōu)于傳統(tǒng)的模型自適應(yīng)方法的轉(zhuǎn)換后語音情感表現(xiàn)力。
　　本文的具體內(nèi)容組織如下:
　　第一章是緒論，將簡要回顧語音合成技術(shù)的發(fā)展史，并介紹現(xiàn)階段語音合成的主流方法、情感語音合成、以及基頻的相關(guān)背景知識。
　　在第二章將介紹基于HMM的參數(shù)語音合成方法，包括方法概述、訓(xùn)練端與合

5、成端的核心算法、存在問題分析等，最后闡述了本文研究內(nèi)容的動(dòng)機(jī)與出發(fā)點(diǎn)。
　　第三章具體介紹基于目標(biāo)逼近特征的基頻建模方法。該方法在訓(xùn)練階段利用目標(biāo)逼近模型對音節(jié)層的基頻軌跡進(jìn)行參數(shù)化處理，然后構(gòu)建聚類決策樹來描述不同上下文環(huán)境下的目標(biāo)逼近特征分布;在合成階段，該方法從預(yù)測的目標(biāo)逼近參數(shù)中恢復(fù)音節(jié)基頻軌跡，并結(jié)合傳統(tǒng)方法生成的頻譜特征恢復(fù)語音波形。實(shí)驗(yàn)結(jié)果表明了該方法可以生成較為自然的合成語音，也指出了其存在對于基頻軌跡細(xì)節(jié)丟失的問

6、題。
　　第四章具體介紹基于音節(jié)層特征的生成基頻后處理方法。該方法在訓(xùn)練階段首先提取傳統(tǒng)HMM合成方法預(yù)測基頻以及錄音語料中的自然基頻所對應(yīng)的音節(jié)層基頻特征，包括基頻矢量特征和目標(biāo)逼近特征等，然后構(gòu)建從預(yù)測基頻音節(jié)層特征向自然基頻音節(jié)層的特征映射的后處理模型，包括全局方差均衡化、GBAM、殘差補(bǔ)償模型等;在合成階段，該方法對傳統(tǒng)HMM方法預(yù)測的基頻軌跡進(jìn)行后處理，以得到最終的基頻生成結(jié)果。主觀實(shí)驗(yàn)結(jié)果表明該方法可以有效提高合成語音

7、的自然度。
　　第五章具體介紹基于目標(biāo)逼近特征的合成語音情感轉(zhuǎn)換方法。該方法針對在目標(biāo)情感數(shù)據(jù)量有限情況下的情感語音合成系統(tǒng)構(gòu)建問題，通過建立中立合成語音的音節(jié)層目標(biāo)逼近特征向目標(biāo)情感語音相應(yīng)特征的映射關(guān)系，實(shí)現(xiàn)中立合成語音基頻特征向目標(biāo)情感的轉(zhuǎn)換。本章使用GBAM模型進(jìn)行不同情感間目標(biāo)逼近特征的轉(zhuǎn)換。實(shí)驗(yàn)結(jié)果表明，該方法對于高興、生氣等高喚醒度情感可以取得比最大似然線性回歸(Maximum Likelihood Linear R