面向多傳感器融合的手勢(shì)視覺特征提取與識(shí)別.pdf

1、手勢(shì)是一種直觀方便的交流方式，通過(guò)對(duì)手勢(shì)的識(shí)別可以實(shí)現(xiàn)自然舒適的人機(jī)交互，因此基于手勢(shì)的交互技術(shù)是人機(jī)交互領(lǐng)域的重要研究?jī)?nèi)容之一。手勢(shì)交互技術(shù)有著廣泛的應(yīng)用，可以用于虛擬現(xiàn)實(shí)環(huán)境中對(duì)虛擬物體的操控，也可以運(yùn)用在智能家電以及相應(yīng)的自動(dòng)控制領(lǐng)域，還可以為兒童、老人和聾啞人的生活和教育提供幫助。
　　 由于人體手部的復(fù)雜構(gòu)造使得手勢(shì)具有多樣性，手勢(shì)識(shí)別依舊是一個(gè)研究難點(diǎn)。目前主要的識(shí)別途徑可以分為基于視覺的手勢(shì)識(shí)別以及基于表面肌電信號(hào)

2、和加速計(jì)的手勢(shì)識(shí)別方式?；谝曈X的手勢(shì)識(shí)別利用攝像頭對(duì)手勢(shì)動(dòng)作實(shí)施非接觸式捕獲，是一種較為自然的交互方式。但是容易受到視角，背景等因素的影響?；诒砻婕‰娦盘?hào)和加速計(jì)的手勢(shì)識(shí)別不受外部環(huán)境的影響，具有較好的魯棒性，但是該方法的分類準(zhǔn)確度受到個(gè)體差異等因素的影響。
　　 本文重點(diǎn)考察基于視覺信號(hào)的手勢(shì)特征提取，在此基礎(chǔ)之上，將表面肌電信號(hào)和加速計(jì)信號(hào)與視覺信號(hào)相結(jié)合，探索多傳感器融合下的手勢(shì)識(shí)別。主要的研究?jī)?nèi)容和研究成果如下：

3、r>　　 1.基于視覺信號(hào)的手型提取和指尖定位。通過(guò)膚色信息結(jié)合主動(dòng)輪廓模型提取手型。采用基于邊界的手指輪廓模型對(duì)指尖進(jìn)行檢測(cè)定位。通過(guò)指尖可以描述手勢(shì)單個(gè)手指的個(gè)數(shù)以及手指的軌跡，為后續(xù)的手勢(shì)識(shí)別提供重要信息。
　　 2.基于視覺的手勢(shì)特征提取與識(shí)別。提出改進(jìn)型形狀上下文描述子表達(dá)手勢(shì)輪廓和提取特征的方法。該方法是一種基于手勢(shì)輪廓重心的投影方法，降低了投影之后的計(jì)算量，避免了由輪廓點(diǎn)采樣而帶來(lái)的不利影響。采用有向無(wú)環(huán)圖支持向

4、量機(jī)對(duì)手勢(shì)進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明利用改進(jìn)型形狀上下文描述子的字母手勢(shì)識(shí)別得到了較好的效果。
　　 3.將視覺信號(hào)和表面肌電信號(hào)以及加速計(jì)信號(hào)相結(jié)合，采用多傳感器融合技術(shù)實(shí)現(xiàn)手勢(shì)識(shí)別。在融合過(guò)程中，提取靜態(tài)視覺特征來(lái)和表面肌電信號(hào)特征描述手勢(shì)的姿態(tài)，采用動(dòng)態(tài)手勢(shì)特征和加速計(jì)信號(hào)特征描述動(dòng)態(tài)手勢(shì)軌跡，采用隱馬爾可夫模型及支持向量機(jī)對(duì)相應(yīng)特征進(jìn)行判決，再采用決策級(jí)融合方法完成手勢(shì)類型的最終判決。實(shí)驗(yàn)結(jié)果表明，多傳感器融合能夠提升總體識(shí)