基于兩層隱馬爾可夫模型的可視語(yǔ)音合成方法研究.pdf

1、多媒體技術(shù)的發(fā)展使人類獲取、處理信息的手段發(fā)生了質(zhì)的飛躍，人機(jī)交互的方式越來(lái)越便捷、有效、人性化。多通道信息融合的研究正是適應(yīng)人機(jī)交互這一要求提出來(lái)的，而對(duì)人類交流方式中采用語(yǔ)言包括語(yǔ)音和可視語(yǔ)音這一交流方式仿真的研究也成為近年來(lái)的一個(gè)熱點(diǎn)之一。本文通過(guò)對(duì)語(yǔ)音和唇動(dòng)這兩種模式的信息相關(guān)性問(wèn)題的研究，提出了基于兩層隱馬爾可夫模型的音視頻映射模型，進(jìn)一步完善了基于隱馬爾可夫模型的語(yǔ)音驅(qū)動(dòng)唇動(dòng)合成系統(tǒng)。該合成系統(tǒng)的提出旨在通過(guò)可視唇動(dòng)信息的引

2、入增強(qiáng)對(duì)語(yǔ)音的感知和理解，特別是在有噪音或者聽者有聽力障礙的情況下，唇動(dòng)信息能夠輔助對(duì)語(yǔ)音的理解，從而使人與人以及人與計(jì)算機(jī)之間的交流更和諧。 本文在實(shí)驗(yàn)室原有基于隱馬爾可夫模型的語(yǔ)音驅(qū)動(dòng)唇動(dòng)合成系統(tǒng)研究工作基礎(chǔ)上，著重從兩個(gè)角度進(jìn)行了改進(jìn)。第一，針對(duì)原系統(tǒng)口形聚類不準(zhǔn)確的不足，實(shí)現(xiàn)了基于K均值算法的口形自動(dòng)聚類，從改進(jìn)口形聚類準(zhǔn)確性角度提高了基于視素建立的隱馬爾可夫模型的參數(shù)的準(zhǔn)確性，從而提高了合成時(shí)預(yù)測(cè)口形的準(zhǔn)確性。第二，針

3、對(duì)原系統(tǒng)合成出的口形與語(yǔ)音對(duì)應(yīng)不準(zhǔn)確、合成出的口形序列不連貫的不足，提出了基于兩層隱馬爾可夫模型的可視語(yǔ)音合成方法。該模型繼承了原系統(tǒng)基于口形類建立語(yǔ)音隱馬爾可夫模型的成果，又構(gòu)建了對(duì)所有口形建模的可視隱馬爾可夫模型，并通過(guò)一個(gè)兩層的層次結(jié)構(gòu)將兩者恰當(dāng)結(jié)合。由于該方法通過(guò)上層的大的各態(tài)歷經(jīng)的隱馬爾可夫模型有效統(tǒng)計(jì)了口形的分布屬性和上下文相關(guān)性；通過(guò)下層的語(yǔ)音隱馬爾可夫模型統(tǒng)計(jì)了語(yǔ)音的分布屬性和上下文相關(guān)性，因此避免了因語(yǔ)音與口形之間多對(duì)