復(fù)雜背景下的手勢(shì)識(shí)別研究.pdf

1、基于視覺的手勢(shì)識(shí)別是人機(jī)交互領(lǐng)域中的一個(gè)研究熱點(diǎn)。然而實(shí)際場(chǎng)景中存在光照劇烈變化、復(fù)雜背景等問題，如何設(shè)計(jì)高效魯棒的手勢(shì)識(shí)別算法是一個(gè)難點(diǎn)問題。本文主要研究復(fù)雜背景下的手勢(shì)識(shí)別方法。
　　手勢(shì)分割是手勢(shì)識(shí)別的一個(gè)關(guān)鍵步驟，經(jīng)典的基于閾值的膚色分割模型對(duì)復(fù)雜環(huán)境沒有很好的魯棒性，基于高斯模型的膚色分割方法時(shí)間復(fù)雜度比較高，很難達(dá)到實(shí)時(shí)性要求。為此，本文提出一種聯(lián)合運(yùn)動(dòng)和膚色分割的手勢(shì)識(shí)別方法，結(jié)合運(yùn)動(dòng)分割和膚色分割方法對(duì)于手勢(shì)區(qū)域進(jìn)

2、行有效分割。采用YCbCr和HSV兩種膚色分割結(jié)合的方法分割出膚色區(qū)域，并運(yùn)用背景差分的運(yùn)動(dòng)分割方法過濾出類似膚色區(qū)域，得到一個(gè)粗略的手部輪廓位置。特征提取部分采用梯度直方圖(HOG)和Hu矩特征融合的方式，Hu矩特征對(duì)旋轉(zhuǎn)、平移和尺度的不變性彌補(bǔ)了HOG特征本身對(duì)旋轉(zhuǎn)角度的不敏感性，最終將得到的手勢(shì)區(qū)域圖像放入分類器進(jìn)行識(shí)別，實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法對(duì)變形幅度較小手勢(shì)具有較好的識(shí)別性能。
　　上述手勢(shì)識(shí)別方法在實(shí)時(shí)檢測(cè)時(shí)需要手有一定

3、幅度的運(yùn)動(dòng)，在一些復(fù)雜環(huán)境下手的分割效果還不是很理想，主要原因在人工設(shè)計(jì)HOG、Hu矩等特征提取方式，對(duì)較大手勢(shì)變形和旋轉(zhuǎn)還是沒有體現(xiàn)出來很強(qiáng)的識(shí)別能力。利用深度學(xué)習(xí)方法的端到端學(xué)習(xí)能力，本論文提出基于Faster R-CNN的手勢(shì)識(shí)別方法，采用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的思想，設(shè)置7層網(wǎng)絡(luò)框架，將自己建立的8類手勢(shì)數(shù)據(jù)庫在Faster R-CNN模型框架下訓(xùn)練網(wǎng)絡(luò)層參數(shù)，調(diào)節(jié)mini-batch正負(fù)樣本比例、base_size大小，和nms后候