基于手勢(shì)識(shí)別的人機(jī)交互及其在3D魔方游戲中的應(yīng)用.pdf

1、人機(jī)交互是指人與計(jì)算機(jī)之間相互交互和影響的方式。從第一臺(tái)計(jì)算機(jī)誕生到現(xiàn)在，人機(jī)交互方式也發(fā)生了翻天覆地的變化。如今，人機(jī)交互正向著“以人為中心”的多模式方式發(fā)展。美國將人機(jī)交互列為21世紀(jì)信息技術(shù)計(jì)劃中的四大基礎(chǔ)研究之一。
　　基于手勢(shì)識(shí)別的人機(jī)交互方式將用戶的手勢(shì)作為人機(jī)交互的輸入，因此需要獲取用戶手勢(shì)的靜態(tài)數(shù)據(jù)與動(dòng)態(tài)信息。獲取信息的方式有三種，分別是基于數(shù)據(jù)手套的方法、基于手持裝置的方法和基于計(jì)算機(jī)視覺的方法。其中基于計(jì)算機(jī)視

2、覺的方法是指通過視頻采集設(shè)備將用戶手勢(shì)的手勢(shì)拍攝下來，通過計(jì)算機(jī)圖像處理等方法提取視頻中手勢(shì)的數(shù)據(jù)與信息。該方法需要借助計(jì)算機(jī)圖像處理的相關(guān)算法對(duì)視頻數(shù)據(jù)信息進(jìn)行分析處理來實(shí)現(xiàn)對(duì)手勢(shì)的識(shí)別。
　　本課題面向人機(jī)交互應(yīng)用，通過對(duì)手勢(shì)視頻的實(shí)時(shí)處理，先后經(jīng)過提取手勢(shì)、計(jì)算手勢(shì)特征、靜態(tài)手勢(shì)特征匹配、動(dòng)態(tài)手勢(shì)匹配四個(gè)步驟來完成對(duì)動(dòng)態(tài)手勢(shì)的語義識(shí)別。尤其是針對(duì)復(fù)雜背景下手勢(shì)前景的提取、基于多特征的靜態(tài)手勢(shì)特征描述與匹配方法和基于多特征的動(dòng)

3、態(tài)手勢(shì)描述與匹配方法做了深入研究，并在此基礎(chǔ)上設(shè)計(jì)了一個(gè)3D魔方游戲作為應(yīng)用背景。該應(yīng)用以用戶的手勢(shì)作為3D魔方游戲的輸入，實(shí)現(xiàn)了人機(jī)之間的友好交互。
　　在手勢(shì)提取方面，本文針對(duì)3D魔方游戲中背景復(fù)雜的特點(diǎn)，將采樣視頻轉(zhuǎn)換到Y(jié)CbCr空間，以貝葉斯膚色模型為基礎(chǔ)進(jìn)行手勢(shì)分割。并在該模型的基礎(chǔ)上提出了兩種優(yōu)化方法，使手勢(shì)前景的提取效果更具有自適應(yīng)性。該方法根據(jù)視頻信息中有大量時(shí)間冗余與空間冗余的特點(diǎn)，對(duì)分割結(jié)果不斷地修改，并反饋在

4、貝葉斯膚色模型中，有效地解除了復(fù)雜背景對(duì)手勢(shì)提取的制約，在一定程度上改善了手勢(shì)前景的提取效果。
　　在手勢(shì)特征描述方面，本文使用了三種方法來描述靜態(tài)手勢(shì)的特征，分別是輪廓特征、指尖特征和掌心特征。其中輪廓特征應(yīng)LCS描述方法來表。本文同樣使用了三種方法來描述動(dòng)態(tài)手勢(shì)的特征，分別是靜態(tài)手勢(shì)序列、指尖運(yùn)動(dòng)特征和掌心運(yùn)動(dòng)特征，其中靜態(tài)手勢(shì)序列是指一組有序的靜態(tài)手勢(shì)編號(hào)。
　　在手勢(shì)匹配方面，靜態(tài)手勢(shì)匹配是指提取到的當(dāng)前的LCS序列

5、與定義的標(biāo)準(zhǔn)靜態(tài)手勢(shì)的LCS序列依次匹配，選擇最匹配的標(biāo)準(zhǔn)靜態(tài)手勢(shì)。而動(dòng)態(tài)手勢(shì)匹配是對(duì)連續(xù)幾幀的靜態(tài)手勢(shì)的匹配結(jié)果進(jìn)行匹配。最終確定這幾幀圖像表達(dá)的動(dòng)態(tài)語義本文分別對(duì)靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)分別使用了以一種特征匹配為主，另外兩種特征為輔的方式。
　　最后在上述研究基礎(chǔ)上，將手勢(shì)描述與匹配算法與具體應(yīng)用相結(jié)合，實(shí)現(xiàn)了對(duì)輸入手勢(shì)的自動(dòng)識(shí)別，并選取虛擬現(xiàn)實(shí)環(huán)境為應(yīng)用背景，在VS2008環(huán)境下設(shè)計(jì)了一個(gè)3D魔方游戲。實(shí)驗(yàn)表明該應(yīng)用在樣本圖像與實(shí)