與漢語(yǔ)語(yǔ)音同步的三維人臉動(dòng)畫(huà)的研究.pdf

1、與漢語(yǔ)語(yǔ)音同步的三維人臉動(dòng)畫(huà)合成的研究是自然人機(jī)交互領(lǐng)域的重要內(nèi)容。將任意的聲音與一個(gè)“虛擬人”重新結(jié)合起來(lái)可能是語(yǔ)音合成中最重要的進(jìn)步之一。人們相信，視覺(jué)合成語(yǔ)音將會(huì)被證明比聽(tīng)覺(jué)合成語(yǔ)音更有價(jià)值。合成視覺(jué)語(yǔ)音可以為精神物理學(xué)和心理學(xué)的問(wèn)題提供更細(xì)微的評(píng)估，這是自然語(yǔ)言無(wú)法提供的，并且加入視覺(jué)信息后可以顯著提高可懂度。目前，還沒(méi)有一個(gè)較好的方法來(lái)實(shí)現(xiàn)符合漢語(yǔ)發(fā)音習(xí)慣的人臉語(yǔ)音同步動(dòng)畫(huà)。因此，本文的目標(biāo)是探索研究一種語(yǔ)音可視化新方法，并建

2、立一個(gè)與漢語(yǔ)語(yǔ)音同步的三維人臉動(dòng)畫(huà)系統(tǒng)。該技術(shù)能夠廣泛應(yīng)用于新聞播報(bào)、對(duì)話系統(tǒng)、虛擬主持人、虛擬會(huì)議、電影制作、3D游戲娛樂(lè)等領(lǐng)域。
　　針對(duì)漢語(yǔ)的發(fā)音習(xí)慣以及語(yǔ)音可視化技術(shù)中對(duì)口型動(dòng)畫(huà)自然、連續(xù)的要求，本文提出了一種符合漢語(yǔ)發(fā)音習(xí)慣的三維人臉語(yǔ)音同步動(dòng)畫(huà)的方法。本文主要分為三部分:三維人臉建模的研究，協(xié)同發(fā)音建模研究，語(yǔ)音與人臉動(dòng)畫(huà)同步的研究。
　　第一部分，根據(jù)對(duì)人臉運(yùn)動(dòng)解剖學(xué)的研究，構(gòu)建一個(gè)基于肌肉模型與運(yùn)動(dòng)幾何學(xué)模型

3、的三維人臉控制模型，為了達(dá)到逼真的效果，建立舌頭、牙齒等模型來(lái)配合發(fā)音器官的發(fā)聲。通過(guò)數(shù)據(jù)結(jié)構(gòu)的形式去控制肌肉模型和運(yùn)動(dòng)幾何學(xué)模型實(shí)現(xiàn)人臉的運(yùn)動(dòng)，從而實(shí)現(xiàn)各種口型和表情的變化。
　　第二部分，為了解決漢語(yǔ)發(fā)音習(xí)慣的問(wèn)題，設(shè)計(jì)了語(yǔ)音可視化協(xié)同發(fā)音模型，該方法通過(guò)分析相鄰音子間視素的影響權(quán)重，可以描述輔音與元音之間，元音與元音之間相互影響的視位表達(dá)，從而產(chǎn)生符合漢語(yǔ)發(fā)音習(xí)慣的口型動(dòng)畫(huà)。
　　第三部分，為了解決人臉動(dòng)畫(huà)的語(yǔ)音同步問(wèn)

4、題，提出了一種語(yǔ)音流與動(dòng)畫(huà)流匹配的方法。首先，通過(guò)對(duì)漢語(yǔ)文本的分析，來(lái)獲取中文可視音素;其次，通過(guò)對(duì)語(yǔ)音基本口型的時(shí)間定位，將語(yǔ)音和人臉動(dòng)畫(huà)相結(jié)合，并且在時(shí)間軸上保證語(yǔ)音流與動(dòng)畫(huà)流的匹配;最后通過(guò)插值算法合成與語(yǔ)音同步的三維人臉動(dòng)畫(huà)。該方法提高了人臉語(yǔ)音動(dòng)畫(huà)的連貫性和合理性。
　　在上述研究的基礎(chǔ)上，本文開(kāi)發(fā)了一種基于漢語(yǔ)文本的三維人臉語(yǔ)音同步動(dòng)畫(huà)系統(tǒng)，該系統(tǒng)可以根據(jù)輸入的文本，通過(guò)語(yǔ)音可視化技術(shù)，產(chǎn)生與語(yǔ)音同步的三維人臉動(dòng)畫(huà)。為