使用HMM的人臉語音動畫合成技術(shù)研究.pdf

1、語音信號和視覺信號是多媒體交互信息的主要載體.人們對語音、圖像的處理技術(shù)已經(jīng)有了比較深入的研究,但是對于語音和圖像之間的內(nèi)在關(guān)系的研究卻還不夠深入.作為綜合考慮語音和圖像的一種技術(shù),智能人機(jī)接口技術(shù)尤其是虛擬人臉合成成為近年來國內(nèi)外的一個熱點(diǎn)研究領(lǐng)域.該項(xiàng)技術(shù)也被稱為多模態(tài)(Multimodal)、視覺語音(Visual Speech)和說話人頭(Talking Head).將語音和圖像兩種模態(tài)結(jié)合到一起,能夠?qū)我皇褂媚骋环N模態(tài)的不足

2、進(jìn)行合理、有益的補(bǔ)充,加深了信息的可理解性.通過虛擬人臉,可以增強(qiáng)人們與計(jì)算機(jī)的交互,而將語音和圖像相結(jié)合同時也給相關(guān)的研究領(lǐng)域帶來新的研究方法.例如,引入同步的人臉動畫信息,可以提高在環(huán)境噪聲較大、以及語音信號不穩(wěn)定等情況下對語音識別與理解的識別率和穩(wěn)健性.該論文通過分析研究已有的人臉語音動畫合成技術(shù),引申出一套使用改進(jìn)的隱馬爾可夫模型結(jié)構(gòu)來存儲語音和圖像之間的內(nèi)在聯(lián)系,利用隱馬爾可夫模型的既有算法來實(shí)現(xiàn)從新語音樣本序列到新圖像樣本序

3、列的映射的人臉語音動畫合成方法.作者開發(fā)的實(shí)驗(yàn)系統(tǒng),能夠?qū)崿F(xiàn)特定對象的語音動畫合成,其結(jié)果具有照片真實(shí)感,通過使用平滑技術(shù)加強(qiáng)了人臉圖像之間的平滑過渡,能夠使得虛擬人臉更加真實(shí).該論文的方法和結(jié)論,為進(jìn)一步提高語音動畫合成的實(shí)時性、真實(shí)感、以及適應(yīng)性提供了一個比較好的理論基礎(chǔ)和實(shí)驗(yàn)平臺.該論文所完成的工作如下:1)充分調(diào)研了語音信號處理方法,實(shí)現(xiàn)了從語音信號中提取魯棒的語音特征參數(shù)的方法.2)在人臉特征點(diǎn)提取方面,參考Active Ap

4、pearance Models(AAM)技術(shù)【Cootes,l,2,4,Edwards,3,5】,通過較少手工標(biāo)識樣本的訓(xùn)練,系統(tǒng)可以自動的提取預(yù)定義的特征點(diǎn)坐標(biāo),并生成人臉特征參數(shù)矢量.3)通過對隱馬爾可夫模型應(yīng)用技術(shù)的大量調(diào)研和分析,提出修改隱馬爾可夫模型的存儲結(jié)構(gòu)以及部分隱馬爾可夫模型算法,使之適用于該文開發(fā)的系統(tǒng).4)使用改進(jìn)的隱馬爾可夫模型結(jié)構(gòu)來實(shí)現(xiàn)從語音信號構(gòu)造同步的、有照片真實(shí)感的語音動畫序列.5)完成了一個基于改進(jìn)的隱馬