基于卷積神經(jīng)網(wǎng)絡(luò)的語音合成聲碼器研究.pdf

1、語音合成聲碼器從基頻、頻譜等聲學(xué)特征中重構(gòu)語音波形，是統(tǒng)計參數(shù)語音合成系統(tǒng)中不可或缺的一部分。近年來，隨著深度神經(jīng)網(wǎng)絡(luò)模型在聲學(xué)建模中的成功應(yīng)用，聲學(xué)模型精度與合成語音自然度均得到了有效改善。但是以STRAIGHT為代表的傳統(tǒng)源-濾波器結(jié)構(gòu)聲碼器仍然存在頻譜細(xì)節(jié)丟失、相位依賴人工設(shè)計以及線性濾波框架等問題，這仍然制約著統(tǒng)計參數(shù)方法合成語音質(zhì)量的進(jìn)一步提升。
　　2016年，DeepMind研究者提出了直接對語音波形建模與生成的深度

2、卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并將其用于從文本特征預(yù)測語音波形，取得了優(yōu)于傳統(tǒng)統(tǒng)計參數(shù)方法的合成語音自然度。利用卷積神經(jīng)網(wǎng)絡(luò)對語音波形直接建模彌補了頻譜細(xì)節(jié)、相位信息丟失的缺陷，深層次的神經(jīng)網(wǎng)絡(luò)也具有靈活的非線性處理能力，這為語音合成聲碼器的實現(xiàn)提供了新的途徑。
　　本文圍繞基于卷積神經(jīng)網(wǎng)絡(luò)的語音合成聲碼器從三個方面展開研究工作。首先，設(shè)計實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡(luò)的話者相關(guān)語音合成聲碼器;其次，提出了神經(jīng)網(wǎng)絡(luò)聲碼器的話者無關(guān)及自適應(yīng)訓(xùn)練方法，在

3、目標(biāo)語音數(shù)據(jù)有限情形下實現(xiàn)高質(zhì)量聲碼器的訓(xùn)練;最后，設(shè)計實現(xiàn)了多分辨率層級化網(wǎng)絡(luò)結(jié)構(gòu)，提升語音合成聲碼器的生成效率。
　　本文整體安排如下:
　　第一章是緒論，概述語音合成技術(shù)，介紹主流的波形拼接合成方法和統(tǒng)計參數(shù)合成方法，然后回顧了常用的語音合成聲碼器并分析其優(yōu)勢和不足。
　　第二章首先介紹DeepMind研究者提出的WaveNet模型，然后闡明用卷積神經(jīng)網(wǎng)絡(luò)對語音波形建模的動機(jī)與出發(fā)點，并詳細(xì)介紹本文設(shè)計實現(xiàn)的基于

4、卷積神經(jīng)網(wǎng)絡(luò)的語音合成聲碼器模型。該模型構(gòu)造了一個上采樣網(wǎng)絡(luò)實現(xiàn)了聲學(xué)特征采樣率與輸出語音采樣率的匹配，然后將變換后的聲學(xué)條件信息加入網(wǎng)絡(luò)激活函數(shù)中指導(dǎo)語音的生成。
　　第三章首先回顧了說話人自適應(yīng)技術(shù)歷史，介紹了語音識別與語音合成任務(wù)中的自適應(yīng)方法;然后介紹了本文提出的神經(jīng)網(wǎng)絡(luò)語音合成聲碼器的話者無關(guān)及自適應(yīng)訓(xùn)練方法;最后利用自然聲學(xué)特征和聲學(xué)模型預(yù)測聲學(xué)特征作為輸入重構(gòu)語音，實驗驗證了自適應(yīng)訓(xùn)練的有效性。
　　第四章首先