用于人機(jī)交互的手勢(shì)識(shí)別研究.pdf

1、最近幾年來(lái),隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展,研究符合人際交流習(xí)慣的人機(jī)交互于段取得了較大的進(jìn)展.人的手勢(shì)作為人們?nèi)粘Ｉ钪凶顝V泛使用的一種交流方式,手勢(shì)識(shí)別的研究受到了越來(lái)越廣泛的關(guān)注,然而由于手勢(shì)本身具有的多樣性、多義性,以及時(shí)間和空間上的差異性等特點(diǎn),加之人手是復(fù)雜的變形體以及視覺本身的不適定性,使手勢(shì)識(shí)別成為一個(gè)具有挑戰(zhàn)性的多學(xué)科交義的研究課題。 本論文的主要的創(chuàng)新工作如下: 1)提出了基于主動(dòng)外觀模型(AAM)的手勢(shì)特

2、征提取方法。其目的是為了利用所建立的AAM來(lái)有效地描述未知的輸入圖像,并實(shí)現(xiàn)模型生成的合成圖像與輸入圖像的誤差最小化。該方法優(yōu)點(diǎn)在于綜合考慮手勢(shì)圖像的形狀信息和灰度信息而實(shí)行對(duì)手勢(shì)的精確分割。 2)提出了基于LLE的手勢(shì)特征提取算法。該算法將輸入向量認(rèn)為是高維空間的點(diǎn),并具有k個(gè)鄰域點(diǎn)。利用鄰域點(diǎn)的線性組合重構(gòu)該點(diǎn),并在低維空間中尋找原始數(shù)據(jù)組的插值,通過最小化插值損耗函數(shù)保持原高維空間的幾何特征,從而提取各類手勢(shì)圖像的內(nèi)在特征

3、,達(dá)到非線性降維的目的。 3)針對(duì)手勢(shì)數(shù)據(jù)的相似性,提出了一種改進(jìn)的模糊粗糙集近鄰分類算法(FRNNC)。手勢(shì)數(shù)據(jù)存在著的相似性,以及同類手勢(shì)因視角不同而產(chǎn)生的差異,這些都造成了輸入數(shù)據(jù)本身存在一定的模糊粗糙不確定性.改進(jìn)的FRNNC算法從每類樣本中選出最能代表該類樣本分布的聚類代表點(diǎn),計(jì)算測(cè)試樣本到各類聚類代表點(diǎn)的平均相似度,從而達(dá)到對(duì)手勢(shì)圖像的識(shí)別.與基本的FRNN算法相比,以極小的識(shí)別率代價(jià)換取了分類速度的較大提高。

4、 4)應(yīng)用了基于容錯(cuò)粗糙集(TRS)的兩步分類法對(duì)手勢(shì)圖像進(jìn)行分類識(shí)別。在手勢(shì)識(shí)別中,還包含有不能確切判定是否屬于給定類的對(duì)象,這是由其類邊界域的模糊性引起的.基于TRS的兩步分類法,第一步對(duì)測(cè)試樣本進(jìn)行下近似集分類,若無(wú)法判定則在第二步中使用基于上近似集的粗糙從屬函數(shù)進(jìn)行再次分類,此外對(duì)一些難以分類的樣本進(jìn)行拒絕。 5)使用HMM門限模型用于動(dòng)態(tài)手勢(shì)時(shí)問域的分割,以區(qū)分孤立于勢(shì)、復(fù)雜手勢(shì)和干擾手勢(shì).同時(shí)研究了基丁DTW和HM

5、M的動(dòng)態(tài)手勢(shì)識(shí)別方法。 6)建立了一個(gè)結(jié)合人眼注視方向的于勢(shì)交互系統(tǒng)。應(yīng)用基于Adaboost算法的辦法,解決了人臉檢測(cè)與特征點(diǎn)定位問題,這是確定人眼注視方向的關(guān)鍵。 本文研究了手勢(shì)特征提取和于勢(shì)分類方法。利用膚色、運(yùn)動(dòng)等信息對(duì)手勢(shì)進(jìn)行分割,提出了基于主動(dòng)外觀模型和基于局部線性降維的手勢(shì)特征提取方法,實(shí)現(xiàn)了對(duì)手勢(shì)圖像的精確分割與特征提取。并應(yīng)用基于粗糙集理論的模糊粗糙最近鄰和容錯(cuò)粗糙集算法對(duì)手勢(shì)進(jìn)行分類識(shí)別.另外,使用了

6、基于HMM的門限模型方法實(shí)現(xiàn)了對(duì)動(dòng)態(tài)手勢(shì)的時(shí)間域分割.最后建立了一個(gè)結(jié)合人眼注視方向的非接觸式人機(jī)交互系統(tǒng)。 手勢(shì)分割是整個(gè)手勢(shì)識(shí)別分析的重要一步,其精確性直接影響系統(tǒng)的識(shí)別率.本文為建立一個(gè)在復(fù)雜背景下實(shí)時(shí)有效的手勢(shì)分割系統(tǒng),運(yùn)用了融合多種信息的方法實(shí)現(xiàn)手勢(shì)區(qū)域的分割。實(shí)驗(yàn)中手勢(shì)分割頻率為20幀/秒,滿足實(shí)時(shí)性的要求。 提出了基于主動(dòng)外觀模型(AAM)的手勢(shì)特征提取方法,綜合了圖像中手勢(shì)的形狀信息和灰度信息,利用所建立

7、的AAM有效地描述未知的輸入手勢(shì)圖像,實(shí)現(xiàn)由模型生成的合成圖像與輸入圖像的誤差最小化,從而實(shí)現(xiàn)對(duì)手勢(shì)的精確分割與特征提取.對(duì)于2D灰度圖像,提出了基于局部線性插值(LLE)特征降維的特征選取方法.該算法將2D灰度圖像本身認(rèn)為是高維特征向量空間的點(diǎn),并具有k個(gè)鄰域點(diǎn),利用鄰域點(diǎn)的線性組合重構(gòu)該點(diǎn)并提取重構(gòu)權(quán)值,由高維向量的重構(gòu)權(quán)值計(jì)算其低維插值坐標(biāo),從而在低維空間中保持了原高維空問的局部幾何特征,達(dá)到非線性降維的日的,實(shí)現(xiàn)對(duì)有效手勢(shì)特征的

8、選擇。 在手勢(shì)識(shí)別過程中,由于不同類手勢(shì)數(shù)據(jù)中存在著相似性,即輸入樣本存在著一定的模糊粗糙不確定性,以及圖像邊界域具有非明確(粗糙)關(guān)系。因此,提出了改進(jìn)的模糊粗糙近鄰分類算法和基于容錯(cuò)粗糙集的二步分類算法,并將其應(yīng)用到手勢(shì)分類中,實(shí)驗(yàn)表明其分類效果較為理想。 在動(dòng)態(tài)手勢(shì)識(shí)別中,手勢(shì)的時(shí)間域上的分割是一個(gè)難點(diǎn)問題.本文使用了一種使參考閾值能隨著測(cè)試樣本及模型樣本動(dòng)態(tài)變化的門限模型,用于區(qū)分孤立手勢(shì)、復(fù)雜手勢(shì)以及干擾手勢(shì),