唇讀發(fā)聲器中視覺信息的檢測與處理.pdf

1、為恢復(fù)那些后天致殘、但仍然具有正確唇彤特征語言殘障者的語音表達(dá)能力，探索建立一個基于視覺信息的唇形識別發(fā)聲系統(tǒng)，本研究把從嘴唇圖像序列中提取的視覺信息作為一種特殊語言加以分析識別。在研究中，對視覺信息檢測與處理中的一些基本問題，如視覺信息與語音信息的對應(yīng)關(guān)系，嘴唇區(qū)域和唇形輪廓所包含的信息量，最佳唇讀系統(tǒng)特征向量的選取，以及自動有效地提取與識別唇形特征的方法進(jìn)行了深入分析。 論文的主要研究內(nèi)容包括： 1.通過分析正面和側(cè)

2、面視角下人臉圖像的特點，建立一種新的非對稱唇形輪廓描述模型，其中既包含嘴唇高度、寬度等信息，又包含嘴唇突出度信息，同時計算各個參數(shù)對時間的導(dǎo)數(shù)，來獲得唇形輪廓的動態(tài)信息，通過組合不同的特征參數(shù)，分析參數(shù)選擇對識別效果的影響，基于獨立漢字發(fā)音的實驗表明，該模型能夠?qū)⒆R別效果平均提高25％以上。并且據(jù)此模型設(shè)計建立了基于常用漢字、面向殘疾人的漢語雙模語音數(shù)據(jù)庫。 2.基于運動檢測和數(shù)學(xué)形態(tài)學(xué)方法對唇動序列的灰度圖像進(jìn)行處理，得到唇形

3、區(qū)域和唇形輪廓，然后從唇形區(qū)域提取嘴唇寬度的投影W，外唇輪廓的高度H，嘴唇突出度的投影信息F，并且考察它們對時間的導(dǎo)數(shù)關(guān)系，得到dW/dt，dH/dt，dF/dt等差分特征參數(shù)，組合形成6維幾何特征向量。 3.利用離散傅里葉變換（DFT）和離散余弦變換（DCT）分別得到描述唇形輪廓特征的傅里葉描述子和離散余弦變換描述子，然后將兩類描述子作為唇形輪廓的特征向量，采用隱馬爾可夫模型（HMM）進(jìn)行學(xué)習(xí)和識別，分析了兩類描述子刻畫唇形輪