漢語(yǔ)語(yǔ)音信號(hào)驅(qū)動(dòng)虛擬人的研究.pdf

1、隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，對(duì)三維虛擬人的研究成為虛擬現(xiàn)實(shí)領(lǐng)域的熱點(diǎn)。在電視動(dòng)畫和計(jì)算機(jī)游戲中，逼真的模型給人以良好的視覺效果。近些年來(lái)，越來(lái)越多的學(xué)者對(duì)虛擬人的建模以及虛擬人的驅(qū)動(dòng)方式的研究表現(xiàn)出極大的興趣，并分別提出了自己的方法。三維虛擬人驅(qū)動(dòng)方法的研究不僅減少了開發(fā)商的投資，而且讓用戶有更大的選擇范圍，所以，它的商業(yè)價(jià)值與實(shí)用價(jià)值都是不可估量的。
　　由于語(yǔ)音與口型有明顯的映射關(guān)系，可以通過(guò)這種映射關(guān)系實(shí)現(xiàn)語(yǔ)音信號(hào)對(duì)虛擬人口型動(dòng)

2、畫的驅(qū)動(dòng)。而語(yǔ)音與虛擬人的動(dòng)作之間則沒有直接的對(duì)應(yīng)關(guān)系，很難通過(guò)語(yǔ)音信號(hào)直接驅(qū)動(dòng)虛擬人動(dòng)作。雖然目前研究者們已經(jīng)提出了許多方法，實(shí)現(xiàn)了對(duì)虛擬人的驅(qū)動(dòng)，但是方法的復(fù)雜度較高，有必要對(duì)其進(jìn)行進(jìn)一步改進(jìn)。針對(duì)上述問題，本文提出一種基于漢語(yǔ)語(yǔ)音識(shí)別的方法驅(qū)動(dòng)虛擬人，該方法通過(guò)語(yǔ)音識(shí)別，可以分別驅(qū)動(dòng)虛擬人的肢體動(dòng)作與面部動(dòng)畫。首先，建立語(yǔ)音識(shí)別模塊，將語(yǔ)音信號(hào)轉(zhuǎn)化為文本信息;其次，將語(yǔ)音識(shí)別模塊加入到虛擬人聊天系統(tǒng)中，實(shí)現(xiàn)語(yǔ)音信號(hào)對(duì)虛擬人動(dòng)作的驅(qū)

3、動(dòng)和聊天系統(tǒng)的控制;接著將語(yǔ)音識(shí)別模塊加到三維人臉口型動(dòng)畫的系統(tǒng)中，實(shí)現(xiàn)語(yǔ)音信號(hào)對(duì)虛擬人口型動(dòng)畫以及表情細(xì)節(jié)的驅(qū)動(dòng)，并通過(guò)TTS技術(shù)，得到與輸入語(yǔ)音同步的三維人臉動(dòng)畫。
　　本文使用微軟語(yǔ)音開發(fā)包，首先通過(guò)構(gòu)建語(yǔ)音識(shí)別類，從而建立語(yǔ)音識(shí)別模塊，完成語(yǔ)音信號(hào)到文本信息的轉(zhuǎn)換，接著將語(yǔ)音識(shí)別模塊分別添加到虛擬人聊天系統(tǒng)和三維虛擬人臉動(dòng)畫的系統(tǒng)中，實(shí)現(xiàn)了漢語(yǔ)語(yǔ)音信號(hào)對(duì)虛擬人動(dòng)作和面部動(dòng)畫的驅(qū)動(dòng)。最后，實(shí)驗(yàn)結(jié)果表明該方法簡(jiǎn)單實(shí)用，識(shí)別的準(zhǔn)