多傳感器手語(yǔ)手勢(shì)識(shí)別若干關(guān)鍵問(wèn)題研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷提升，人機(jī)交互方式逐步被更新。具有能聽(tīng)，能看，能說(shuō)，能感覺(jué)等多模式的，自然的，以人為中心的新穎人機(jī)交互是未來(lái)人機(jī)交互的發(fā)展方向。手語(yǔ)成為新穎人機(jī)交互的最重要通道之一。手語(yǔ)是一種視覺(jué)語(yǔ)言，是聾啞人表達(dá)思想、進(jìn)行日常交際最主要的方式。它是通過(guò)手的形狀、指式、朝向、動(dòng)作和位置信息，配合面部表情，按照一定的語(yǔ)法規(guī)則來(lái)傳遞特定含義信息的。手語(yǔ)手勢(shì)識(shí)別是通過(guò)計(jì)算機(jī)獲取手勢(shì)動(dòng)作信息，采用模式識(shí)別算法，將手語(yǔ)手勢(shì)的含義翻譯成語(yǔ)音或文

2、本信息，使健全人“聽(tīng)的懂手語(yǔ)或看的懂手語(yǔ)”，幫助聾啞人與健全人之間的交流，促進(jìn)自然、順暢的人機(jī)交互方式的發(fā)展。
　　 根據(jù)輸入設(shè)備不同，手語(yǔ)手勢(shì)識(shí)別研究主要分為基于機(jī)器視覺(jué)(machine-vision)的識(shí)別和基于佩戴式輸入設(shè)備(body-instrumentation)的識(shí)別。單一傳感器只能獲取到手勢(shì)動(dòng)作的部分信息，擅長(zhǎng)于對(duì)手勢(shì)動(dòng)作的特定側(cè)面信息進(jìn)行提取，而協(xié)同運(yùn)用多個(gè)傳感器則可以將不同類(lèi)型傳感器進(jìn)行優(yōu)勢(shì)互補(bǔ)，實(shí)現(xiàn)在較短的時(shí)

3、間內(nèi)，以較小的代價(jià)采集到盡可能多而全面的手勢(shì)動(dòng)作信息。本文針對(duì)表面肌電電極(SurfaceElectromyography，SEMG)，加速計(jì)(Accelerometer，ACC)和攝像頭（Camera）三種低成本傳感器所檢測(cè)到的手勢(shì)動(dòng)作信息，提出一種有效的融合多傳感器信息（表面肌電傳感器，加速計(jì)與普通攝像頭）的手語(yǔ)手勢(shì)識(shí)別方法，達(dá)到同時(shí)提高多傳感器手語(yǔ)手勢(shì)識(shí)別的識(shí)別率和識(shí)別效率的效果。
　　 具體研究工作及研究成果主要有以下幾

4、點(diǎn)：
　　 (1)提出基于Ycbcr顏色空間的自適應(yīng)膚色分割方法。將亮度信息Y分為三個(gè)區(qū)間(Y＜125，Y∈[125，188]，Y＞188)，對(duì)對(duì)應(yīng)區(qū)間內(nèi)的色度值cr、cb分別進(jìn)行不同的色度變換，完成手勢(shì)圖片光線預(yù)處理操作，實(shí)現(xiàn)自適應(yīng)膚色提取算法。實(shí)驗(yàn)結(jié)果表明，該膚色分割方法不僅具有較強(qiáng)的適應(yīng)性，且能快速、精確的檢測(cè)出手部膚色區(qū)域。
　　 (2)針對(duì)視覺(jué)手語(yǔ)手勢(shì)識(shí)別效率低等問(wèn)題，將關(guān)鍵幀提取思想引入到動(dòng)態(tài)手勢(shì)幀選取算法中

5、，采用固定采樣率對(duì)手勢(shì)圖片進(jìn)行采樣，剔除大量冗余手勢(shì)圖片，這在很大程度上縮短了手勢(shì)圖片預(yù)處理與模式訓(xùn)練所消耗的時(shí)間。其次，提取基于二值化信息的空間不變矩(HuMoments)、面積(Aera)和質(zhì)心(Centroid)三種簡(jiǎn)單的手勢(shì)圖像特征作為視覺(jué)手勢(shì)特征。這種方法使視覺(jué)手語(yǔ)手勢(shì)識(shí)別率和識(shí)別效率同時(shí)得到了提高，對(duì)包含視覺(jué)信息的多傳感器手語(yǔ)手勢(shì)識(shí)別產(chǎn)生了積極的研究意義。
　　 (3)基于多傳感器信息檢測(cè)與融合，提出了一種基于gλ模