使用HMM的人臉語(yǔ)音動(dòng)畫(huà)合成技術(shù)研究.pdf

1、語(yǔ)音信號(hào)和視覺(jué)信號(hào)是多媒體交互信息的主要載體.人們對(duì)語(yǔ)音、圖像的處理技術(shù)已經(jīng)有了比較深入的研究,但是對(duì)于語(yǔ)音和圖像之間的內(nèi)在關(guān)系的研究卻還不夠深入.作為綜合考慮語(yǔ)音和圖像的一種技術(shù),智能人機(jī)接口技術(shù)尤其是虛擬人臉合成成為近年來(lái)國(guó)內(nèi)外的一個(gè)熱點(diǎn)研究領(lǐng)域.該項(xiàng)技術(shù)也被稱為多模態(tài)(Multimodal)、視覺(jué)語(yǔ)音(Visual Speech)和說(shuō)話人頭(Talking Head).將語(yǔ)音和圖像兩種模態(tài)結(jié)合到一起,能夠?qū)我皇褂媚骋环N模態(tài)的不足

2、進(jìn)行合理、有益的補(bǔ)充,加深了信息的可理解性.通過(guò)虛擬人臉,可以增強(qiáng)人們與計(jì)算機(jī)的交互,而將語(yǔ)音和圖像相結(jié)合同時(shí)也給相關(guān)的研究領(lǐng)域帶來(lái)新的研究方法.例如,引入同步的人臉動(dòng)畫(huà)信息,可以提高在環(huán)境噪聲較大、以及語(yǔ)音信號(hào)不穩(wěn)定等情況下對(duì)語(yǔ)音識(shí)別與理解的識(shí)別率和穩(wěn)健性.該論文通過(guò)分析研究已有的人臉語(yǔ)音動(dòng)畫(huà)合成技術(shù),引申出一套使用改進(jìn)的隱馬爾可夫模型結(jié)構(gòu)來(lái)存儲(chǔ)語(yǔ)音和圖像之間的內(nèi)在聯(lián)系,利用隱馬爾可夫模型的既有算法來(lái)實(shí)現(xiàn)從新語(yǔ)音樣本序列到新圖像樣本序

3、列的映射的人臉語(yǔ)音動(dòng)畫(huà)合成方法.作者開(kāi)發(fā)的實(shí)驗(yàn)系統(tǒng),能夠?qū)崿F(xiàn)特定對(duì)象的語(yǔ)音動(dòng)畫(huà)合成,其結(jié)果具有照片真實(shí)感,通過(guò)使用平滑技術(shù)加強(qiáng)了人臉圖像之間的平滑過(guò)渡,能夠使得虛擬人臉更加真實(shí).該論文的方法和結(jié)論,為進(jìn)一步提高語(yǔ)音動(dòng)畫(huà)合成的實(shí)時(shí)性、真實(shí)感、以及適應(yīng)性提供了一個(gè)比較好的理論基礎(chǔ)和實(shí)驗(yàn)平臺(tái).該論文所完成的工作如下:1)充分調(diào)研了語(yǔ)音信號(hào)處理方法,實(shí)現(xiàn)了從語(yǔ)音信號(hào)中提取魯棒的語(yǔ)音特征參數(shù)的方法.2)在人臉特征點(diǎn)提取方面,參考Active Ap

4、pearance Models(AAM)技術(shù)【Cootes,l,2,4,Edwards,3,5】,通過(guò)較少手工標(biāo)識(shí)樣本的訓(xùn)練,系統(tǒng)可以自動(dòng)的提取預(yù)定義的特征點(diǎn)坐標(biāo),并生成人臉特征參數(shù)矢量.3)通過(guò)對(duì)隱馬爾可夫模型應(yīng)用技術(shù)的大量調(diào)研和分析,提出修改隱馬爾可夫模型的存儲(chǔ)結(jié)構(gòu)以及部分隱馬爾可夫模型算法,使之適用于該文開(kāi)發(fā)的系統(tǒng).4)使用改進(jìn)的隱馬爾可夫模型結(jié)構(gòu)來(lái)實(shí)現(xiàn)從語(yǔ)音信號(hào)構(gòu)造同步的、有照片真實(shí)感的語(yǔ)音動(dòng)畫(huà)序列.5)完成了一個(gè)基于改進(jìn)的隱馬