唇讀技術(shù)的研究及其應(yīng)用.pdf

1、人類的語(yǔ)言認(rèn)知過(guò)程是一個(gè)多通道的感知過(guò)程。除聲音信息通道外，唇動(dòng)視覺信息可以作為一種重要的語(yǔ)音理解源。視覺語(yǔ)言具有許多潛在的應(yīng)用，因此通過(guò)機(jī)器的自動(dòng)唇語(yǔ)識(shí)別即唇讀技術(shù)近年來(lái)成為一個(gè)備受關(guān)注的研究領(lǐng)域。大多數(shù)研究者的目的是把唇語(yǔ)識(shí)別和語(yǔ)音識(shí)別相融合，以提高語(yǔ)音識(shí)別的正確率。不同于這些研究，本文研究的目的是把唇讀技術(shù)應(yīng)用于語(yǔ)言殘疾者的康復(fù)工程中，最終設(shè)計(jì)一個(gè)視覺語(yǔ)言驅(qū)動(dòng)的實(shí)時(shí)語(yǔ)音合成系統(tǒng)。因此，本文主要研究了唇讀中的一些關(guān)鍵技術(shù)并實(shí)現(xiàn)了一個(gè)

2、基于孤立詞識(shí)別的唇讀系統(tǒng)。 本文首先介紹了目前唇讀研究的現(xiàn)狀與發(fā)展水平，詳細(xì)闡述了唇讀研究的內(nèi)容和方法，以及唇讀研究的意義。在此基礎(chǔ)上，提出了本文的唇讀系統(tǒng)實(shí)現(xiàn)方案，該系統(tǒng)主要包括視覺前端、視覺特征提取單元和唇語(yǔ)識(shí)別理解單元三部分。 視覺前端主要是把人說(shuō)話時(shí)的唇動(dòng)序列圖像實(shí)時(shí)送入計(jì)算機(jī)，并對(duì)唇進(jìn)行定位和跟蹤。因此本文設(shè)計(jì)了一個(gè)基于USB的圖像采集系統(tǒng)，該系統(tǒng)采用專門的視頻處理芯片對(duì)模擬視頻信號(hào)進(jìn)行處理，然后采用CPLD、

3、DSP和USB技術(shù)實(shí)現(xiàn)對(duì)數(shù)字視頻信號(hào)的采集和傳輸。該系統(tǒng)設(shè)計(jì)合理，易于實(shí)現(xiàn)，同時(shí)具有連接方便，即插即用等優(yōu)點(diǎn)。 視覺特征提取單元首先采用一種唇色濾波器對(duì)圖像進(jìn)行預(yù)處理，增強(qiáng)了唇色，然后采用主動(dòng)輪廓模型算法實(shí)現(xiàn)口型輪廓的提取和跟蹤。文中采用了一種改進(jìn)的主動(dòng)輪廓模型算法，該算法引入作用方向可以自適應(yīng)變化的外加強(qiáng)制力，使控制點(diǎn)能夠不依賴于初始輪廓而快速收斂到目標(biāo)的真實(shí)輪廓，且初始輪廓自動(dòng)確定，控制點(diǎn)的數(shù)目可以自適應(yīng)地改變。該主動(dòng)輪廓模

4、型算法可以實(shí)現(xiàn)對(duì)唇型輪廓的快速提取。 唇語(yǔ)識(shí)別和理解單元是利用視覺特征提取單元提供的口型特征參數(shù)，采用隱馬爾可夫模型(HMM)訓(xùn)練和識(shí)別圖像序列的發(fā)音類。HMM過(guò)程是一個(gè)雙重的隨機(jī)過(guò)程，這與人類語(yǔ)言的唇動(dòng)過(guò)程是相吻合的。為提高系統(tǒng)識(shí)別的正確率，系統(tǒng)設(shè)計(jì)中采用了連續(xù)型隱馬爾可夫模型。文中詳細(xì)討論了在使用HMM中的模型初始化、參數(shù)訓(xùn)練和識(shí)別問(wèn)題并給出了實(shí)驗(yàn)結(jié)果。 本文設(shè)計(jì)的唇讀系統(tǒng)在對(duì)特定人5個(gè)孤立詞的實(shí)驗(yàn)中，可以達(dá)到61％