基于唇動特征的唇語識別技術(shù).pdf

1、人類的語言認知過程是一個多通道的感知過程。除聲音信息通道外，唇動視覺信息可以作為一種語音理解源。視覺語言具有許多潛在的應用，因此通過機器的自動唇語識別即唇語技術(shù)近年來成為一個備受關(guān)注的研究領(lǐng)域。作為人機交互的一部分，對唇讀規(guī)律及其識別的研究具有重要的理論意義和實用價值，它能夠有效地改善語音、手語等其它信道的識別率。 本人對國內(nèi)外現(xiàn)有的有關(guān)唇讀識別技術(shù)和方法進行了研究，在比較現(xiàn)有唇讀系統(tǒng)所采用的方法基礎(chǔ)之上，針對計算機唇讀系統(tǒng)中唇

2、部檢測、唇讀特征提取和唇語識別等關(guān)鍵技術(shù)，提出了改進的算法。 首先利用膚色模型和人臉的幾何特征檢測出人臉，進一步提出一個多級結(jié)構(gòu)的嘴唇區(qū)域檢測算法檢測嘴唇，也就是實現(xiàn)對嘴唇的粗定位到精定位。該方法是在檢測出人臉后，通過Fisher變換增強嘴唇區(qū)域，然后利用Otsu(最大類間方差法)二值化圖像完成粗定位，再結(jié)合YIQ唇色模型進一步驗證后實現(xiàn)唇部精定位。利用該方法得到的分割結(jié)果初始化輪廓的參數(shù)，有效提高了輪廓定位的速度和準確度。

3、 在嘴唇的跟蹤和特征提取方面，提出基于改進的snake模型的嘴唇輪廓提取的方法。此方法首先自動生成snake的初始模型，然后在GVF-snake的基礎(chǔ)上重新設(shè)計了snake的外部能量函數(shù)，利用色彩差分運算提取有意義區(qū)域的邊緣梯度，對GVF向量場進行了歸一化處理并改進了平滑因子。該改進的算法大大提高了嘴唇輪廓提取的準確度。然后采用了光流法和snake模型結(jié)合的方法對序列圖像進行跟蹤，能較好地解決因動態(tài)圖像幀間誤差積累而帶來的跟蹤錯誤的

4、問題。為提取嘴唇的運動特征，本文提出基于幀間特征點運動矢量的唇動特征提取方法，提取了有效的嘴唇特征點并研究了圖像序列相鄰幀之間的嘴唇運動的規(guī)律，獲得包含大量口型動態(tài)信息的有效特征。 在唇讀識別方面，運用了BP神經(jīng)網(wǎng)絡(luò)的唇讀識別方法。采用附加動量法和自適應學習速率法在樣本集上訓練BP網(wǎng)絡(luò)，該訓練方法可避免網(wǎng)絡(luò)陷入局部最小的問題，同時加快BP網(wǎng)絡(luò)的收斂速度。在唇動特征的支持下，識別算法在對說話人的發(fā)音口型識別中，均取得了滿意的結(jié)果。