視頻驅(qū)動的三維唇動合成.pdf

1、嘴唇動畫作為人臉動畫中最重要的部分之一，可以應(yīng)用在影視特效，動畫制作，游戲娛樂以及視頻會議等諸多領(lǐng)域，具有很大的應(yīng)用價值和商業(yè)價值。本文研究的內(nèi)容是如何利用視頻驅(qū)動嘴唇，大致分為兩個部分：如何從視頻中捕捉到嘴唇特征點，以及如何利用捕捉到的嘴唇信息驅(qū)動嘴唇模型。
　　本文采用的嘴唇模型是基于CANDIDE-3面部模型的，它的驅(qū)動機(jī)制以面部行為編碼系統(tǒng)作為基礎(chǔ)，根據(jù)面部行為編碼系統(tǒng)定義的動作單位，驅(qū)動人臉模型。利用它的驅(qū)動機(jī)制，可以將

2、跟蹤得到的嘴唇信息轉(zhuǎn)換為驅(qū)動嘴唇模型的參數(shù)，最終根據(jù)這些參數(shù)得到嘴唇動畫。
　　本文采用了兩種不同的方法對嘴唇進(jìn)行跟蹤，一種是基于表觀的方法，另一個種是基于運動的方法。
　　基于表觀的方法，存儲跟蹤目標(biāo)的紋理，通過改變目標(biāo)模型的位置參數(shù)和形狀參數(shù)，使其和視頻中的嘴唇相吻合。由于希望不使用訓(xùn)練樣本就可以對嘴唇進(jìn)行跟蹤，因此紋理模型從第一幀獲取，然后從后續(xù)的幀中獲取形狀無關(guān)紋理，將紋理模型和形狀無關(guān)紋理進(jìn)行比較，得到嘴唇模型的最

3、優(yōu)參數(shù)。該方法可以直接得到嘴唇模型的參數(shù)，最終合成的嘴唇動畫在大部分情況下是令人滿意的，但是當(dāng)嘴唇變化過大的時候，跟蹤器會跟丟，因此一些比較明顯的口型變化無法在合成的嘴唇動畫中重現(xiàn)，影響了合成動畫的質(zhì)量，但跟蹤器可以在沒有外界干預(yù)的情況下重新恢復(fù)對嘴唇的跟蹤。
　　基于運動的方法采用比較成熟的Lucas-Kanade光流法跟蹤嘴唇的四個特征點，由于下嘴唇特征點在嘴唇運動過大的時候會跟丟，本文利用嘴唇的幾何形狀和嘴唇的邊緣信息對下嘴