基于SAE-PCA模型的ASL字母識(shí)別方法研究.pdf

1、手勢(shì)識(shí)別是新一代人機(jī)交互技術(shù)中一個(gè)重要的研究方向，因此有著廣闊的應(yīng)用前景。通?？梢詫⑹謩?shì)識(shí)別過(guò)程分為檢測(cè)和識(shí)別兩個(gè)步驟，但是由于視角的不同、光照的變化、復(fù)雜的背景、目標(biāo)的遮擋等因素，從圖片或者視頻中把手勢(shì)區(qū)域檢測(cè)出來(lái)并對(duì)其識(shí)別是非常有挑戰(zhàn)的。
　　本文最終是完成基于Kinect實(shí)時(shí)的ASL字母識(shí)別系統(tǒng)，ASL庫(kù)是包含有24個(gè)英文字母的靜態(tài)手勢(shì)圖片庫(kù)，其中手勢(shì)的背景、光照較復(fù)雜，且有些手勢(shì)的形狀非常接近，因而比較難區(qū)分。文章主要研究

2、的內(nèi)容及創(chuàng)新點(diǎn)如下:
　　1.提出了基于在線(xiàn)膚色學(xué)習(xí)的手勢(shì)分割方法。利用Kinect的第三方庫(kù)函數(shù)進(jìn)行手勢(shì)跟蹤，找到手勢(shì)點(diǎn)并以該點(diǎn)為中心截取出一個(gè)矩形區(qū)域，該區(qū)域包含整個(gè)手勢(shì)，接著利用手勢(shì)點(diǎn)的深度值對(duì)手勢(shì)進(jìn)行初步分割，然后用膚色模型進(jìn)行進(jìn)一步分割。這里，我們給出了一個(gè)能自適應(yīng)人到Kinect平面距離的手勢(shì)矩形計(jì)算公式，同時(shí)提出了能夠在線(xiàn)學(xué)習(xí)手勢(shì)操作者膚色信息的模型。
　　2.提出了基于SAE-PCA模型手勢(shì)特征提取方法。我們

3、提出了SAE-PCA模型來(lái)提取圖片的特征，使用這些特征在ASL圖片庫(kù)上取得了最優(yōu)的成績(jī)。SAE-PCA模型同時(shí)結(jié)合了顏色信息和深度信息，它是在經(jīng)典的CNN結(jié)構(gòu)前后加入了多個(gè)PCA層，模型中參數(shù)的訓(xùn)練采用的是基于patch的方法，這種方法和傳統(tǒng)的算法效果一樣，但訓(xùn)練時(shí)間卻快了1000倍以上。
　　3.完成了基于Kinect的ASL字母識(shí)別系統(tǒng)。任務(wù)是對(duì)Kinect采集到圖像實(shí)時(shí)的進(jìn)行手勢(shì)區(qū)域檢測(cè)并識(shí)別。我們對(duì)前面提出的手勢(shì)分割算法進(jìn)