基于表觀的手勢識別及人機(jī)交互研究.pdf

1、具有與用戶自然交互的能力是仿人機(jī)器人能夠融入人類社會的關(guān)鍵，從機(jī)器人方面來說，交互涉及到感知通道和效應(yīng)通道，感知通道接受環(huán)境的信息，效應(yīng)通道是機(jī)器人作用于環(huán)境，控制交互過程中的信息接收。手勢作為一個自然、直觀的交互通道，在人機(jī)交互過程中起著重要的作用，不僅是一個交流信息和意圖的通道，更是示范學(xué)習(xí)過程中一個必不可少的載體，可以使得普通的用戶通過自然的方式與機(jī)器人溝通。在人機(jī)交互過程中，頭眼協(xié)調(diào)運(yùn)動控制有助于機(jī)器人有選擇地獲取外界信息，獲得

2、感興趣的焦點(diǎn)，增強(qiáng)人機(jī)交互過程中的自然性。本文從自然人機(jī)交互的角度出發(fā)，研究了獨(dú)立于用戶和視角的手勢識別以及交互過程中機(jī)器人的頭眼協(xié)調(diào)運(yùn)動控制，在自主開發(fā)的通用仿人機(jī)器人頭部系統(tǒng)平臺基礎(chǔ)上，構(gòu)造了一個基于自然手勢的人機(jī)交互系統(tǒng)，為后續(xù)的示范學(xué)習(xí)等研究奠定了平臺基礎(chǔ)。具體研究工作包括以下幾個方面： (1)在靜態(tài)手勢識別方面，考慮到現(xiàn)有正向手勢識別系統(tǒng)中所采用的特征不足以充分地表征自然手勢，提出了使用完備特征集來等價地描述手勢特性，

3、根據(jù)提取Zernike矩的重構(gòu)效果，來確定能夠充分地表征手勢的特征集，在計算矩的過程中提出了最小方形邊界的概念，以獲得在相同階次下Zernike矩最大的圖像表征能力；另外等價特征的個數(shù)也揭示了手勢集的復(fù)雜度，客觀地反映出某種手勢被識別的難易度。在特征降維方面，從分類的角度，提出了基于類別鄰域的Isomap降維方法(CategoryNeighbor-Isomap，CN-Isomap)，在特征降維過程中利用樣本的類別信息來保持原樣本之間固有

4、的幾何結(jié)構(gòu)關(guān)系，實(shí)現(xiàn)準(zhǔn)確降維。 (2)關(guān)于動態(tài)手勢識別，通過分析現(xiàn)有識別算法的特點(diǎn)和自然人機(jī)交互過程中的動態(tài)手勢特性，提出了基于時間軸壓縮的手勢時空建模方法，以消除手勢的時空差異性，同時也是為了能夠在此建模的基礎(chǔ)上識別由不同用戶在不同視角下作出的手勢。根據(jù)動態(tài)手勢的運(yùn)動特性，提出了速率邊沿檢測算法來分割手勢的起止過程，通過跟蹤圖像平面內(nèi)的手勢運(yùn)動，得到表征手勢的一系列離散軌跡點(diǎn)?；诟袷剿睦韺W(xué)的知覺定律，采用3次B樣條擬合出手

5、勢的表觀軌跡。引入曲線矩和仿射不變矩作為手勢表觀軌跡特征。針對特征空間中手勢樣本的不規(guī)則分布，提出了多變量分段線性決策樹分類器，與通常的多變量決策樹相比，樹的規(guī)模更小，泛化性能更好。 (3)研究了基于手勢交互過程中的機(jī)器人頭眼協(xié)調(diào)運(yùn)動問題。人機(jī)交互是一個雙向的過程，機(jī)器人需要對用戶的手勢作出反應(yīng)，在多自由度的頭眼系統(tǒng)上，為了保證交互的連續(xù)性和成像的清晰性，需要有效地協(xié)調(diào)頭和眼的運(yùn)動。通過使機(jī)器人雙眼聚焦在同一個注視點(diǎn)，得到注視點(diǎn)