視頻圖像中的口唇檢測(cè)與跟蹤.pdf

1、在語(yǔ)音識(shí)別和人機(jī)交互技術(shù)備受關(guān)注的情況下，口唇檢測(cè)和跟蹤逐漸引起人們的關(guān)注，口唇檢測(cè)是唇讀和唇動(dòng)合成的首要部分，可以提高語(yǔ)音識(shí)別的識(shí)別率，且能輔助老師進(jìn)行聾兒教學(xué)以彌補(bǔ)相關(guān)老師的缺乏和提高學(xué)生的自學(xué)能力。
　　本課題分析了國(guó)內(nèi)外在口唇特征定位和跟蹤方面的研究現(xiàn)狀，重點(diǎn)研究了兩種技術(shù)：一種變形模型方法是精確提取物體幾何特征的常用方法，但是其計(jì)算量大；另一種粒子濾波器是圖像目標(biāo)跟蹤中常用技術(shù)，在大目標(biāo)的跟蹤中效果顯著，然而對(duì)于微特征的

2、圖像目標(biāo)也存在點(diǎn)漂移等情況。本課題綜合使用變形模板和粒子濾波獲取嘴唇區(qū)域特征，對(duì)視頻序列中嘴唇特征定位與跟蹤技術(shù)進(jìn)行了研究：
　　1．針對(duì)黃色人種的唇色與膚色相似性、胡須、牙齒等干擾因素對(duì)口唇定位的影響以及光照不均勻性等問(wèn)題，給出了一種基于CIELab顏色空間的口唇定位方法，與現(xiàn)有的排紅法、CCD算法、色彩特征提取法等比較，可以解決對(duì)光照的依賴(lài)性、盡量避免干擾因素對(duì)口唇定位問(wèn)題的影響，實(shí)現(xiàn)比較準(zhǔn)確的提取出口唇區(qū)域。
　　2．

3、針對(duì)可變形模板的初始化及其存在的多參數(shù)優(yōu)化求解問(wèn)題，給出了一種采用投影法粗略確定口唇的嘴角點(diǎn)，對(duì)可變形模板進(jìn)行初始化的方法。可以解決可變形模板的求解復(fù)雜性的問(wèn)題，為進(jìn)一步精確提取口唇特征點(diǎn)打下基礎(chǔ)。
　　3．針對(duì)發(fā)音過(guò)程中口唇變形、旋轉(zhuǎn)、縮放以及對(duì)邊緣連續(xù)性要求等問(wèn)題，給出了一種基于可變形模板的口唇輪廓提取算法，通過(guò)采用多條曲線逼近口唇輪廓，利用邊緣、波谷等能量函數(shù)確定口唇輪廓。實(shí)驗(yàn)表明該方法克服了不同光照、牙齒、舌頭等的影響準(zhǔn)確

4、提取口唇輪廓，得到反映口形變化的參數(shù)。
　　4．針對(duì)口唇微特征點(diǎn)難以跟蹤問(wèn)題，本文給出了一種使用粒子濾波器跟蹤口唇特征點(diǎn)的方法。在使用粒子濾波器時(shí)，對(duì)如何選取跟蹤特征框尺寸和粒子數(shù)目進(jìn)行了實(shí)驗(yàn)確定，保證了跟蹤的精度和效率。并通過(guò)實(shí)驗(yàn)統(tǒng)計(jì)特征點(diǎn)跟蹤偏差，對(duì)嘴唇區(qū)域進(jìn)行調(diào)整，減少定位的偏差。實(shí)驗(yàn)表明該方法在跟蹤精度和時(shí)間方面具有一定的優(yōu)勢(shì)。
　　總之，本文對(duì)視頻序列中口唇檢測(cè)與跟蹤進(jìn)行研究，并對(duì)關(guān)鍵技術(shù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，達(dá)到了預(yù)期