語(yǔ)音合成基于超聲的口腔聲學(xué)器官運(yùn)動(dòng)模型.pdf

1、語(yǔ)音信號(hào)處理一直是計(jì)算機(jī)科學(xué)、工程研究的熱門領(lǐng)域，語(yǔ)音自動(dòng)識(shí)別和合成技術(shù)的初步應(yīng)用已經(jīng)得到了普及，然而現(xiàn)今大多數(shù)成熟商業(yè)系統(tǒng)仍然無(wú)法提供自然、準(zhǔn)確的語(yǔ)音交互體驗(yàn)。在這樣的背景下，部分研究學(xué)者寄希望于對(duì)發(fā)聲生理過(guò)程進(jìn)行研究，以此推動(dòng)語(yǔ)音相關(guān)技術(shù)的研究。于是，大量的捕獲聲學(xué)器官運(yùn)動(dòng)的傳感器被開發(fā)出來(lái)，嘗試著從不同角度建立發(fā)聲中聲學(xué)器官運(yùn)動(dòng)與語(yǔ)音信號(hào)間的關(guān)系。
　　本文提出了從語(yǔ)音信號(hào)合成口腔內(nèi)部聲學(xué)器官運(yùn)動(dòng)超聲圖像的框架，系統(tǒng)通過(guò)對(duì)輸

2、入的語(yǔ)音信號(hào)進(jìn)行特征提取，然后通過(guò)映射模型計(jì)算出超聲圖像的特征參數(shù)，并使用該特征參數(shù)重構(gòu)出超聲圖像。本文首先總結(jié)介紹了現(xiàn)有常見映射模型，包括基于語(yǔ)言學(xué)和基于幀對(duì)幀的模型；然后通過(guò)介紹語(yǔ)音生成模型和Silent Speech Interface來(lái)對(duì)該系統(tǒng)的實(shí)際應(yīng)用場(chǎng)景有更深入的理解；接著描述了本實(shí)驗(yàn)所使用的基于超聲的多模態(tài)語(yǔ)料庫(kù)；最后詳細(xì)描述了基于k-means和Gaussian Mixture Model的映射模型的原理和實(shí)現(xiàn)。