多傳感器手語手勢識別若干關(guān)鍵問題研究.pdf

1、隨著計算機技術(shù)的不斷提升，人機交互方式逐步被更新。具有能聽，能看，能說，能感覺等多模式的，自然的，以人為中心的新穎人機交互是未來人機交互的發(fā)展方向。手語成為新穎人機交互的最重要通道之一。手語是一種視覺語言，是聾啞人表達思想、進行日常交際最主要的方式。它是通過手的形狀、指式、朝向、動作和位置信息，配合面部表情，按照一定的語法規(guī)則來傳遞特定含義信息的。手語手勢識別是通過計算機獲取手勢動作信息，采用模式識別算法，將手語手勢的含義翻譯成語音或文

2、本信息，使健全人“聽的懂手語或看的懂手語”，幫助聾啞人與健全人之間的交流，促進自然、順暢的人機交互方式的發(fā)展。
　　 根據(jù)輸入設(shè)備不同，手語手勢識別研究主要分為基于機器視覺(machine-vision)的識別和基于佩戴式輸入設(shè)備(body-instrumentation)的識別。單一傳感器只能獲取到手勢動作的部分信息，擅長于對手勢動作的特定側(cè)面信息進行提取，而協(xié)同運用多個傳感器則可以將不同類型傳感器進行優(yōu)勢互補，實現(xiàn)在較短的時

3、間內(nèi)，以較小的代價采集到盡可能多而全面的手勢動作信息。本文針對表面肌電電極(SurfaceElectromyography，SEMG)，加速計(Accelerometer，ACC)和攝像頭（Camera）三種低成本傳感器所檢測到的手勢動作信息，提出一種有效的融合多傳感器信息（表面肌電傳感器，加速計與普通攝像頭）的手語手勢識別方法，達到同時提高多傳感器手語手勢識別的識別率和識別效率的效果。
　　 具體研究工作及研究成果主要有以下幾

4、點：
　　 (1)提出基于Ycbcr顏色空間的自適應(yīng)膚色分割方法。將亮度信息Y分為三個區(qū)間(Y＜125，Y∈[125，188]，Y＞188)，對對應(yīng)區(qū)間內(nèi)的色度值cr、cb分別進行不同的色度變換，完成手勢圖片光線預(yù)處理操作，實現(xiàn)自適應(yīng)膚色提取算法。實驗結(jié)果表明，該膚色分割方法不僅具有較強的適應(yīng)性，且能快速、精確的檢測出手部膚色區(qū)域。
　　 (2)針對視覺手語手勢識別效率低等問題，將關(guān)鍵幀提取思想引入到動態(tài)手勢幀選取算法中

5、，采用固定采樣率對手勢圖片進行采樣，剔除大量冗余手勢圖片，這在很大程度上縮短了手勢圖片預(yù)處理與模式訓(xùn)練所消耗的時間。其次，提取基于二值化信息的空間不變矩(HuMoments)、面積(Aera)和質(zhì)心(Centroid)三種簡單的手勢圖像特征作為視覺手勢特征。這種方法使視覺手語手勢識別率和識別效率同時得到了提高，對包含視覺信息的多傳感器手語手勢識別產(chǎn)生了積極的研究意義。
　　 (3)基于多傳感器信息檢測與融合，提出了一種基于gλ模