基于漢語驅(qū)動人臉語音動畫的研究.pdf

1、近年來，人臉動畫在計算機圖形學是一個極具挑戰(zhàn)性的研究領(lǐng)域。人臉動畫廣泛的應用于教學、數(shù)字娛樂、游戲、人機交互、遠程會議、影視制作、醫(yī)學手術(shù)、人臉識別等領(lǐng)域。
　　我們基于MPEG-4標準和中文語言學理論，以TTS引擎、OpenGL作為主要的開發(fā)工具，實現(xiàn)了一個基于漢語文本驅(qū)動的人臉語音動畫系統(tǒng)。該系統(tǒng)主要由四部分組成：文本分析系統(tǒng)；語音合成系統(tǒng)；人臉動畫系統(tǒng)和語音與動畫同步系統(tǒng)。系統(tǒng)的執(zhí)行流程是：一方面，語音合成系統(tǒng)接收輸入的中文

2、文本，分析處理后，合成語音并產(chǎn)生帶有時間信息的音素流；另一方面，基于肌肉模型建立具有真實感的特定人臉模型，使用音素幀參數(shù)和表情幀參數(shù)驅(qū)動模型網(wǎng)格點移動，從而實現(xiàn)人臉動畫；最后將合成的語音與人臉動畫同步，就實現(xiàn)具有真實感的、帶有表情的人臉語音動畫。
　　本系統(tǒng)建立的協(xié)同發(fā)音模型有效地解決了中文協(xié)同發(fā)音的問題，這是本論文的一個創(chuàng)新點。協(xié)同發(fā)音是指在連續(xù)說話過程中，一個音素的發(fā)音受到相鄰語音段影響的現(xiàn)象。語音合成系統(tǒng)將中文可視音素劃分為

3、15組，可獲得帶有時間信息的中文可視音素序列，成功解決了TTS引擎不能直接產(chǎn)生中文音素和中文可視音素的問題，這是論文的第二個創(chuàng)新點。此外，系統(tǒng)在通用模型的基礎上進行特定化修正，通過模型校準、紋理映射方法，生成具有高度真實感的人臉模型。系統(tǒng)還通過定義表情標簽、表情過渡、表情與可視音素混合等處理，實現(xiàn)了帶有表情的人臉動畫。
　　由于本系統(tǒng)實現(xiàn)的人臉動畫，只是通過嘴唇來模擬說話和表情動作，而并沒有考慮人臉其它部位在說話過程中的動作變化。