基于手指的人機(jī)交互系統(tǒng)研究與實(shí)現(xiàn).pdf

1、近年來(lái),機(jī)器人技術(shù)發(fā)展迅猛,基于機(jī)器人的各項(xiàng)技術(shù)也在不斷進(jìn)步,機(jī)器人已逐步進(jìn)入各行各業(yè),在人的操作下,機(jī)器人可以完成諸如家庭衛(wèi)生打掃、物品搬運(yùn)、病人和兒童看護(hù)、語(yǔ)音導(dǎo)航、信息查詢等任務(wù)。其中,手勢(shì)是人思想和意圖最直接的表達(dá)方式之一,也是人機(jī)交互的重要組成部分,成為了眾多專家和學(xué)者們研究的熱點(diǎn)。
　　手指作為手部重要組成部分,手指動(dòng)作具有表達(dá)方式簡(jiǎn)單、含義豐富的特點(diǎn),利用手指進(jìn)行人機(jī)交互將是新一代關(guān)鍵技術(shù)。在實(shí)際應(yīng)用中,使用手指進(jìn)行

2、人機(jī)交互可以分為手指檢測(cè)定位和手指動(dòng)作識(shí)別兩個(gè)步驟。
　　手指檢測(cè)定位的目的是在圖像中找到手指的準(zhǔn)確位置,本文為避免復(fù)雜環(huán)境下的光照、膚色等因素對(duì)手勢(shì)分割產(chǎn)生影響,將傳統(tǒng)手部圖像分割方法進(jìn)行改進(jìn),提出了一種基于人體骨骼和深度圖像信息的手指檢測(cè)方法。首先采用Kinect攝像頭獲取人體骨骼和深度圖像信息,通過(guò)人體骨骼信息鎖定目標(biāo)用戶,利用鎖定用戶的手部節(jié)點(diǎn)位置從深度圖像中提取手部區(qū)域圖像,最后結(jié)合手部輪廓特征和自主提出的算法找到指尖位

3、置。
　　手指動(dòng)作識(shí)別旨在提取到手指位置后對(duì)其運(yùn)動(dòng)軌跡進(jìn)行識(shí)別,以達(dá)到人機(jī)交互的目的。針對(duì)手寫輸入資料數(shù)據(jù)繁雜,需要處理大量的輸入變量的特點(diǎn),本文采用的軌跡識(shí)別算法是隨機(jī)森林算法。本系統(tǒng)首先對(duì)手指指令輸入軌跡數(shù)據(jù)進(jìn)行特征提取,然后對(duì)這些軌跡特征進(jìn)行離散化和歸一化,將處理后的特征數(shù)據(jù)進(jìn)行傅里葉描述子轉(zhuǎn)換,提取主要的低頻成分來(lái)描述軌跡,接著將轉(zhuǎn)換后的特征數(shù)據(jù)輸入到隨機(jī)森林分類器中進(jìn)行訓(xùn)練和識(shí)別,最后將識(shí)別結(jié)果發(fā)送到服務(wù)機(jī)器人并進(jìn)行狀態(tài)

4、顯示,從而完成整個(gè)人機(jī)交互過(guò)程。
　　本文原型系統(tǒng)運(yùn)行在服務(wù)機(jī)器人平臺(tái)上,服務(wù)機(jī)器人平臺(tái)搭載Windows7操作系統(tǒng),開發(fā)平臺(tái)采用Visual Studio2010,使用微軟MFC進(jìn)行可視界面編程,對(duì)軟件設(shè)計(jì)模式進(jìn)行了詳細(xì)的分析和整理,并應(yīng)用到本文系統(tǒng)設(shè)計(jì)中。本文系統(tǒng)完成了人機(jī)交互系統(tǒng)框架的設(shè)計(jì)與構(gòu)建,手勢(shì)檢測(cè)與識(shí)別算法的代碼實(shí)現(xiàn),上位機(jī)界面顯示與操作,以及系統(tǒng)和機(jī)器人底層的數(shù)據(jù)通信等相關(guān)內(nèi)容。
　　實(shí)驗(yàn)結(jié)果表明,本文系統(tǒng)能