基于神經(jīng)網(wǎng)絡(luò)的統(tǒng)計參數(shù)語音合成方法研究.pdf

1、語音合成旨在將輸入文本轉(zhuǎn)換成自然流暢的語音。統(tǒng)計參數(shù)語音合成(Statistical Parametric Speech Synthesis，SPSS)具有系統(tǒng)構(gòu)建自動化程度高、存儲尺寸小、靈活性強(qiáng)等優(yōu)點(diǎn)，已成為目前構(gòu)建語音合成系統(tǒng)的主流方法。傳統(tǒng)基于隱馬爾科夫模型(Hidden Markov Model，HMM)的統(tǒng)計參數(shù)語音合成方法能夠生成連續(xù)平穩(wěn)流暢且可懂度高的語音，但生成的語音頻譜通常過于平滑，這導(dǎo)致合成語音音質(zhì)下降，與自然語音

2、仍有較大差距。
　　近些年來，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個分支發(fā)展迅速。深度學(xué)習(xí)通常指采用多層人工神經(jīng)網(wǎng)絡(luò)進(jìn)行建模的方法，在圖像識別、計算機(jī)視覺、自然語音處理、自動語音識別等任務(wù)上均取得了相比傳統(tǒng)方法的顯著效果提升。在統(tǒng)計參數(shù)語音合成中，深度學(xué)習(xí)方法在聲學(xué)建模、特征提取、后濾波、波形生成等模塊中均取得了成功應(yīng)用，逐漸取代HMM方法成為現(xiàn)階段統(tǒng)計參數(shù)語音合成的研究熱點(diǎn)。
　　本文圍繞基于神經(jīng)網(wǎng)絡(luò)的統(tǒng)計參數(shù)語音合成方法，從基于深度

3、學(xué)習(xí)的頻譜表征和聲學(xué)模型構(gòu)建兩個方面開展研究工作。在頻譜表征方面，將深度學(xué)習(xí)模型引入頻譜特征提取過程，分別提出了基于深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)以及二值隱層深度自編碼器(Deep Auto-Encoder with Binary distributed hidden units,BDAE)的頻譜表征方法;在聲學(xué)建模方面，對

4、傳統(tǒng)訓(xùn)練準(zhǔn)則進(jìn)行改進(jìn)，提出了基于生成對抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)的聲學(xué)建模方法。具體包括:
　　首先，針對傳統(tǒng)頻譜表征中梅爾倒譜(mel-cepstrum)提取過程缺乏對于譜包絡(luò)的非線性處理能力、預(yù)測頻譜過平滑的問題，本文提出了基于深度信念網(wǎng)絡(luò)的頻譜表征方法。該方法使用無監(jiān)督訓(xùn)練的DBN對語音的譜包絡(luò)進(jìn)行建模，以DBN的最高隱層采樣作為語音的頻譜表征進(jìn)行聲學(xué)建模，緩解了合成語音的

5、過平滑問題。
　　其次，針對現(xiàn)有頻譜表征方法對語音頻譜包絡(luò)中的共振峰等局部結(jié)構(gòu)缺乏關(guān)注的問題，本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的頻譜表征方法?？紤]到CNN對樣本局部結(jié)構(gòu)的檢測提取能力，該方法使用基于CNN的自編碼器對頻譜包絡(luò)中共振峰等局部結(jié)構(gòu)的強(qiáng)度和位置表征進(jìn)行提取，并在語音合成系統(tǒng)中分別對其建模。該方法可以較好的還原語音頻譜中的局部結(jié)構(gòu)，提升了合成語音音質(zhì)。
　　再次，針對現(xiàn)有頻譜表征方法中頻譜特征提取與聲學(xué)建模相互獨(dú)立、缺乏統(tǒng)

6、一考慮的問題，本文提出了基于二值隱層深度自編碼器的頻譜表征方法。該方法通過約束深度自編碼器隱層節(jié)點(diǎn)接近二值分布，降低了所提取頻譜特征的模型預(yù)測誤差對于最終恢復(fù)的頻譜包絡(luò)的影響，緩解了聲學(xué)建模所帶來的頻譜平滑效應(yīng)。多個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法可以顯著提高語音合成的音質(zhì)。
　　最后，針對傳統(tǒng)最大似然以及最小均方誤差訓(xùn)練準(zhǔn)則導(dǎo)致的聲學(xué)模型統(tǒng)計平滑效應(yīng)，本文提出了基于生成對抗網(wǎng)絡(luò)的聲學(xué)建模方法。該方法將低維倒譜和文本特征同時作為條件