基于單目視頻的聾啞人手語(yǔ)識(shí)別.pdf

1、近年在計(jì)算機(jī)技術(shù)不斷發(fā)展的同時(shí)，手語(yǔ)識(shí)別技術(shù)也逐漸成為了一個(gè)新的發(fā)展方向。本文研究的重點(diǎn)是:靜態(tài)字母手語(yǔ)識(shí)別及簡(jiǎn)單動(dòng)態(tài)手的識(shí)別這兩個(gè)部分。以基于膚色模型的手勢(shì)分割為基礎(chǔ)，分別構(gòu)建了以傅里葉特征提取算法與加權(quán)KNN分類器相結(jié)合的靜態(tài)手語(yǔ)識(shí)別系統(tǒng)，以camshift跟蹤算法和DTW識(shí)別算法結(jié)合的動(dòng)態(tài)手語(yǔ)識(shí)別系統(tǒng)。在靜態(tài)手語(yǔ)的識(shí)別中，構(gòu)建了靜態(tài)手語(yǔ)數(shù)據(jù)庫(kù)，對(duì)傳統(tǒng)的傅里葉算法進(jìn)行了歸一化，減少了方向、相位變化對(duì)手勢(shì)特征提取的影響，使手勢(shì)特征描述

2、更加準(zhǔn)確;使用加權(quán)KNN算法對(duì)手語(yǔ)數(shù)據(jù)庫(kù)中的樣本進(jìn)行優(yōu)化，構(gòu)建多類分類器對(duì)靜態(tài)手語(yǔ)進(jìn)行識(shí)別。在動(dòng)態(tài)手語(yǔ)識(shí)別中，使用camshift算法捕獲手勢(shì)圖像、跟蹤手勢(shì)運(yùn)動(dòng)軌跡、獲得手勢(shì)區(qū)域;使用DTW算法計(jì)算手勢(shì)間相似距離，計(jì)算出的最小距離即為識(shí)別結(jié)果。本文對(duì)聾啞人的手語(yǔ)識(shí)別研究具體的工作有以下5個(gè)方面:
　　(1)首先結(jié)合國(guó)內(nèi)外對(duì)手語(yǔ)識(shí)別的研究工作，討論了其發(fā)展過(guò)程和研究現(xiàn)狀，在對(duì)手語(yǔ)識(shí)別技術(shù)未來(lái)的發(fā)展趨勢(shì)了解歸納后，確定出了本文將以聾啞

3、人手語(yǔ)作為主要的研究方向。
　　(2)將現(xiàn)有的手勢(shì)分割方法進(jìn)行了對(duì)比，在分析各個(gè)方法的優(yōu)缺點(diǎn)并與本論文實(shí)際結(jié)合后，選用基于顏色模型的方法對(duì)手勢(shì)進(jìn)行分割。
　　(3)對(duì)于靜態(tài)手語(yǔ)，使用傅里葉描述符獲得手勢(shì)特征向量，再通過(guò)加權(quán)KNN分類器分類識(shí)別得到結(jié)果。
　　(4)對(duì)動(dòng)態(tài)手語(yǔ)采用camshift算法動(dòng)態(tài)手勢(shì)進(jìn)行捕獲、跟蹤，獲取手勢(shì)區(qū)域，作為后續(xù)動(dòng)態(tài)手語(yǔ)識(shí)別的基礎(chǔ)，在得到動(dòng)態(tài)手勢(shì)后對(duì)手勢(shì)特征提取的結(jié)果使用DTW算法進(jìn)行識(shí)別