智能家居環(huán)境中個(gè)性化語(yǔ)音生成關(guān)鍵技術(shù)研究.pdf

1、隨著物聯(lián)網(wǎng)的發(fā)展，各種智能家電如音像設(shè)備、照明系統(tǒng)、安防系統(tǒng)、自動(dòng)控制門窗及環(huán)境自動(dòng)調(diào)節(jié)系統(tǒng)、多功能家用機(jī)器人等，通過家居網(wǎng)絡(luò)平臺(tái)構(gòu)建了舒適的智能家居環(huán)境。智能家居的普及大大方便了人們的生活。
　　智能家居網(wǎng)絡(luò)平臺(tái)中的語(yǔ)音控制技術(shù)提高了人與智能家居的信息交互能力和方便性。隨著語(yǔ)音識(shí)別技術(shù)的應(yīng)用，越來(lái)越多的智能家電逐步支持語(yǔ)音控制的能力，目前最新的研究是如何讓家居網(wǎng)絡(luò)平臺(tái)使用對(duì)話系統(tǒng)，讓智能家居設(shè)備使用與家庭成員相同特征的語(yǔ)音和使用

2、者進(jìn)行交互，使這些設(shè)備具備個(gè)性化語(yǔ)音發(fā)聲的能力，從而提高智能家居使用的趣味性和幸福感。由于家庭成員的語(yǔ)音特征各不相同，此方面的研究仍是一個(gè)難題。
　　語(yǔ)音合成技術(shù)是語(yǔ)音技術(shù)研究的一個(gè)重要組成部分，個(gè)性化語(yǔ)音生成是語(yǔ)音信號(hào)處理領(lǐng)域中一個(gè)相對(duì)較新的分支。通過個(gè)性化語(yǔ)音生成技術(shù)，就可以使用目標(biāo)對(duì)象少量的語(yǔ)音數(shù)據(jù)，生成出具有目標(biāo)對(duì)象個(gè)性化特征的語(yǔ)音。目前基于智能家居環(huán)境中個(gè)性化語(yǔ)音生成技術(shù)的研究，存在著當(dāng)目標(biāo)對(duì)象只有有限的采樣語(yǔ)音數(shù)據(jù)情況

3、下，由于樣本數(shù)據(jù)庫(kù)較小及計(jì)算能力有限，生成出來(lái)的語(yǔ)音有機(jī)械感，在聲調(diào)和頻譜上失真，語(yǔ)音的自然度和相似度指標(biāo)低，更不能實(shí)現(xiàn)轉(zhuǎn)換輸出多種語(yǔ)音或多種方言。所以，研究個(gè)性化語(yǔ)音生成技術(shù)具有重要的應(yīng)用價(jià)值。
　　目前，在個(gè)性化語(yǔ)音生成方法中，以Tokuda、Huang為代表的基于隱馬爾可夫模型（Hidden Markov Models，HMM）建模是主流的語(yǔ)音生成方法，但該方法中的混合激勵(lì)模型中的參數(shù)采用了經(jīng)驗(yàn)值估測(cè)，導(dǎo)致生成參數(shù)不精確。并

4、且該模型中源說(shuō)話人自適應(yīng)特征訓(xùn)練過程不夠優(yōu)秀，損失了說(shuō)話人的聲學(xué)特征差異，導(dǎo)致頻譜語(yǔ)音特征參數(shù)不準(zhǔn)確，因此語(yǔ)音的自然度和相似度指標(biāo)低，需要進(jìn)一步研究如何提高合成語(yǔ)音的質(zhì)量。而且在智能家居語(yǔ)音生成技術(shù)中，使用多方言和智能家居實(shí)現(xiàn)人機(jī)對(duì)話，方便使用和具有親切感，因此研究多方言的轉(zhuǎn)換技術(shù)具有十分重要的意義。
　　基于以上情況，本文圍繞個(gè)性化語(yǔ)音生成技術(shù)主流的合成模型進(jìn)行研究，提出了自適應(yīng)方法和聲音轉(zhuǎn)換新技術(shù)，主要的研究?jī)?nèi)容如下：

5、　　為了提高個(gè)性化語(yǔ)音生成的自然度和相似度，減少語(yǔ)音的失真程度，本文改進(jìn)了混合激勵(lì)模型中參數(shù)的獲取方法，以及混合激勵(lì)模型中的各個(gè)帶寬的濁音周期性比例提取方法，并將混合激勵(lì)參數(shù)與頻譜參數(shù)相結(jié)合，改進(jìn)了隱馬爾可夫模型的混合激勵(lì)機(jī)制，該機(jī)制能明顯地改善生成語(yǔ)音的質(zhì)量。最后，實(shí)驗(yàn)結(jié)果表明了本文改進(jìn)方法的正確性和有效性。
　　針對(duì)隱馬爾可夫模型中，源說(shuō)話人自適應(yīng)特征訓(xùn)練過程不夠優(yōu)秀，導(dǎo)致?lián)p失說(shuō)話人聲學(xué)特征差異的問題，本文提出了基于時(shí)變雙線性

6、函數(shù)的頻率彎折方法，改進(jìn)了源說(shuō)話人自適應(yīng)特征訓(xùn)練過程。通過將傳統(tǒng)方法與頻譜彎折方法進(jìn)行實(shí)驗(yàn)對(duì)比，表明本文提出的頻率彎折方法可以使源語(yǔ)音頻譜更接近目標(biāo)語(yǔ)音頻譜，減少說(shuō)話人聲學(xué)特征的損失，所生成的語(yǔ)音在自然度和相似度上均得到提升。
　　為了解決智能家居語(yǔ)音生成技術(shù)中多方言的轉(zhuǎn)換問題。本文在分析了經(jīng)典說(shuō)話人轉(zhuǎn)換技術(shù)的基礎(chǔ)上，提出了基于神經(jīng)網(wǎng)絡(luò)的跨方言說(shuō)話人轉(zhuǎn)換系統(tǒng)框架，基于該框架，使用一種預(yù)訓(xùn)練方法，完成了基于語(yǔ)音序列感知的神經(jīng)網(wǎng)絡(luò)建模

7、。本文實(shí)驗(yàn)是以普通話和上海話的轉(zhuǎn)換為例，驗(yàn)證了可以解決個(gè)性化語(yǔ)音生成技術(shù)中多方言的轉(zhuǎn)換問題。實(shí)驗(yàn)結(jié)果顯示該方法是可行的。
　　本文的主要?jiǎng)?chuàng)新研究成果如下：
　　第一，本文首次系統(tǒng)地分析比較了在混合激勵(lì)模型中兩種周期性比例的提取方法：梳狀濾波器、歸一化相關(guān)系數(shù)，并通過基于隱馬爾可夫模型的語(yǔ)音合成實(shí)驗(yàn)，證明了使用混合激勵(lì)模型合成的語(yǔ)音質(zhì)量得到了顯著地提高。
　　第二，本文提出的基于頻率彎折的說(shuō)話人自適應(yīng)方法，可以顯著提升個(gè)

8、性化語(yǔ)音生成的自然度和相似性。相較于傳統(tǒng)方法，本文的方法具有如下創(chuàng)新點(diǎn)：
　　1）在源說(shuō)話人和目標(biāo)說(shuō)話人間引入了最小化加權(quán)對(duì)數(shù)譜距離準(zhǔn)則，取代使用最大似然準(zhǔn)則對(duì)源說(shuō)話人特征進(jìn)行轉(zhuǎn)化，這一準(zhǔn)則的應(yīng)用提高了所生成的個(gè)性化語(yǔ)音在感知上的相似度。
　　2）引入雙線性彎折函數(shù)對(duì)頻域和時(shí)域進(jìn)行平滑轉(zhuǎn)化，函數(shù)采用基于幀的彎折因子，更好地保留了語(yǔ)音時(shí)變的特征。
　　3）重新訓(xùn)練后的源說(shuō)話人隱馬爾可夫模型獲得了更好的初始化。
　　

9、第三，本文首次提出了跨方言語(yǔ)音特征學(xué)習(xí)模型的方法和準(zhǔn)則，實(shí)現(xiàn)了不同地方語(yǔ)言的說(shuō)話人轉(zhuǎn)換。其創(chuàng)新點(diǎn)主要體現(xiàn)在以下三個(gè)方面：
　　1）將獨(dú)立于語(yǔ)言的頻率彎折方法應(yīng)用在跨方言的說(shuō)話人轉(zhuǎn)換中，從而大大地降低了所需的訓(xùn)練數(shù)據(jù)量和計(jì)算復(fù)雜度；
　　2）在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中采用了預(yù)訓(xùn)練，從而使神經(jīng)網(wǎng)絡(luò)的權(quán)重能得到比隨機(jī)初始化更好的起點(diǎn)，從而提高了神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法的收斂速度；
　　3）提出了基于語(yǔ)音序列感知的訓(xùn)練準(zhǔn)則，該準(zhǔn)則能最大限度地減