基于漢語(yǔ)驅(qū)動(dòng)人臉語(yǔ)音動(dòng)畫(huà)的研究.pdf

1、近年來(lái)，人臉動(dòng)畫(huà)在計(jì)算機(jī)圖形學(xué)是一個(gè)極具挑戰(zhàn)性的研究領(lǐng)域。人臉動(dòng)畫(huà)廣泛的應(yīng)用于教學(xué)、數(shù)字娛樂(lè)、游戲、人機(jī)交互、遠(yuǎn)程會(huì)議、影視制作、醫(yī)學(xué)手術(shù)、人臉識(shí)別等領(lǐng)域。
　　我們基于MPEG-4標(biāo)準(zhǔn)和中文語(yǔ)言學(xué)理論，以TTS引擎、OpenGL作為主要的開(kāi)發(fā)工具，實(shí)現(xiàn)了一個(gè)基于漢語(yǔ)文本驅(qū)動(dòng)的人臉語(yǔ)音動(dòng)畫(huà)系統(tǒng)。該系統(tǒng)主要由四部分組成：文本分析系統(tǒng)；語(yǔ)音合成系統(tǒng)；人臉動(dòng)畫(huà)系統(tǒng)和語(yǔ)音與動(dòng)畫(huà)同步系統(tǒng)。系統(tǒng)的執(zhí)行流程是：一方面，語(yǔ)音合成系統(tǒng)接收輸入的中文

2、文本，分析處理后，合成語(yǔ)音并產(chǎn)生帶有時(shí)間信息的音素流；另一方面，基于肌肉模型建立具有真實(shí)感的特定人臉模型，使用音素幀參數(shù)和表情幀參數(shù)驅(qū)動(dòng)模型網(wǎng)格點(diǎn)移動(dòng)，從而實(shí)現(xiàn)人臉動(dòng)畫(huà)；最后將合成的語(yǔ)音與人臉動(dòng)畫(huà)同步，就實(shí)現(xiàn)具有真實(shí)感的、帶有表情的人臉語(yǔ)音動(dòng)畫(huà)。
　　本系統(tǒng)建立的協(xié)同發(fā)音模型有效地解決了中文協(xié)同發(fā)音的問(wèn)題，這是本論文的一個(gè)創(chuàng)新點(diǎn)。協(xié)同發(fā)音是指在連續(xù)說(shuō)話過(guò)程中，一個(gè)音素的發(fā)音受到相鄰語(yǔ)音段影響的現(xiàn)象。語(yǔ)音合成系統(tǒng)將中文可視音素劃分為

3、15組，可獲得帶有時(shí)間信息的中文可視音素序列，成功解決了TTS引擎不能直接產(chǎn)生中文音素和中文可視音素的問(wèn)題，這是論文的第二個(gè)創(chuàng)新點(diǎn)。此外，系統(tǒng)在通用模型的基礎(chǔ)上進(jìn)行特定化修正，通過(guò)模型校準(zhǔn)、紋理映射方法，生成具有高度真實(shí)感的人臉模型。系統(tǒng)還通過(guò)定義表情標(biāo)簽、表情過(guò)渡、表情與可視音素混合等處理，實(shí)現(xiàn)了帶有表情的人臉動(dòng)畫(huà)。
　　由于本系統(tǒng)實(shí)現(xiàn)的人臉動(dòng)畫(huà)，只是通過(guò)嘴唇來(lái)模擬說(shuō)話和表情動(dòng)作，而并沒(méi)有考慮人臉其它部位在說(shuō)話過(guò)程中的動(dòng)作變化。