三維人臉唇形動畫的語音驅動研究.pdf

1、語音驅動的唇形動畫屬于人臉動畫技術范疇,具有真實感的可視化語音合成技術已成為人機接口、虛擬主播與人工智能等領域的研究熱點,可廣泛用于視頻教學、電影動畫、虛擬社區(qū)等。
　　 本文主要研究基于三維網(wǎng)格模型的語音驅動唇形動畫技術,重點研究了兩個關鍵問題,(1)特定人的可視化語音與唇形同步技術。采用基于數(shù)據(jù)驅動的唇形合成方法,獲得真實自然的唇形動畫效果;(2)非特定人的語音唇形同步動畫技術。利用BP神經(jīng)網(wǎng)絡研究語音驅動唇形動畫。該方法運

2、算量較小,可操作性較強,能夠達到較理想的語音唇形動畫效果。本文主要工作有如下幾個方面:
　　 1.采集不同人的語音資料,建立語音庫;研究與分析漢語的發(fā)音特征以及發(fā)音規(guī)律,分析唇形運動狀態(tài)以將具有相似運動狀態(tài)的唇形進行歸類,建立口型庫。
　　 2.基于特定人的語音可視化合成算法的研究,提取唇形的特征參數(shù)值,對唇形樣本進行分類與聚類處理,形成基本的唇形類別,對語音進行分幀處理以提取語音的特征參數(shù)(MFFC),建立語音幀與唇形

3、類別的映射關系,建立訓練模型以訓練樣本數(shù)據(jù),最終合成與語音幀相同步的唇形幀,經(jīng)平滑處理后達到真實動畫效果。
　　 3.非特定人的語音驅動唇形動畫的研究,依據(jù)漢字音節(jié)特征以及聲韻母與唇形類別間的映射關系,構建一個三層的BP網(wǎng)絡模型進行學習訓練。在實時語音驅動唇形動畫過程中,首先對語音信號進行端點檢測,將噪音段與無音段直接對應閉合的唇形狀態(tài),然后提取有效語音的底層特征參數(shù),經(jīng)過BP網(wǎng)絡模型處理,生成與實時語音幀對應的唇形狀態(tài)幀,以顯