基于視覺的手勢輸入法研究與實現(xiàn).pdf

1、隨著計算機應(yīng)用技術(shù)的不斷發(fā)展,傳統(tǒng)的采用鼠標(biāo)、鍵盤或觸摸屏幕作為交互手段的人機交互技術(shù)已不能完全滿足人們當(dāng)前的需求,而以自然語言、手勢語言和面部表情語言為代表的多模式智能型人機交互技術(shù)在計算機研究領(lǐng)域變得愈發(fā)重要。手勢輸入作為一種新的智能型人機交互技術(shù),主要涉及圖像處理、模式識別、概率統(tǒng)計學(xué)和計算機視覺等領(lǐng)域。由于人手是復(fù)雜變形體,手勢表達(dá)靈活多變,不同手勢之間具有較高相似性,以及手勢序列在時間域和空間域內(nèi)具有極大差異性等特點,使得手勢

2、輸入成為一個極富挑戰(zhàn)性的多學(xué)科交叉研究課題。本文可分為兩方面內(nèi)容:設(shè)計與實現(xiàn)基于雙目視覺的手勢識別;利用已定義手勢和識別結(jié)果調(diào)用輸入法實現(xiàn)中英文輸入。手勢識別與輸入法的結(jié)合應(yīng)用,在國內(nèi)外尚屬首例,已于2011年11月申報國家發(fā)明專利《基于計算機視覺的手勢輸入法構(gòu)建方法及系統(tǒng)》,專利申請?zhí)?011103459148。
　　本文設(shè)計實現(xiàn)了基于視覺的手勢輸入法系統(tǒng),該系統(tǒng)可實時完成左右手手勢識別,并通過識別結(jié)果實現(xiàn)中英文輸入。左右手交替

3、輸入使得輸入法具有更高的輸入效率和更好的用戶體驗。本系統(tǒng)包括以下四個處理環(huán)節(jié):首先,手勢關(guān)鍵幀序列提取。提取流程:設(shè)置異步緩沖模型大小,將攝像頭捕捉到的手勢視頻流轉(zhuǎn)換成手勢圖像幀并按時間先后順序存入緩沖模型,對模型中圖像幀進(jìn)行相鄰幀聚類,得到手勢關(guān)鍵幀序列。其次,手勢關(guān)鍵幀圖像預(yù)處理。根據(jù)人體膚色特征定位并分割手勢區(qū)域,對分割得到的手勢區(qū)域幀進(jìn)行二值化、圖像增強和平滑濾波處理,之后利用拉普拉斯邊緣提取算法獲得手勢輪廓。再次,手勢關(guān)鍵幀特

4、征提取,本文選取由手勢區(qū)域幾何特征,Hu不變矩特征,傅里葉描述子和Zernike矩聯(lián)合向量作為手勢特征向量。最后,手勢識別及手勢輸入法。系統(tǒng)最終采用BP神經(jīng)網(wǎng)絡(luò)分類算法標(biāo)定手勢關(guān)鍵幀,根據(jù)識別結(jié)果控制輸入法信息輸入,通過實驗測試,本系統(tǒng)可以利用手勢實現(xiàn)中英文的輸入、刪除和修改操作。本文手勢模板庫共包括26個字母手勢和7個控制手勢,字母手勢可實現(xiàn)信息輸入工作,控制手勢可實現(xiàn)輸入法啟動,暫停及輸入信息的刪除和修改工作。系統(tǒng)共完成33個手勢的