基于條件隨機(jī)場(chǎng)的中國(guó)手語(yǔ)識(shí)別.pdf

1、手語(yǔ)識(shí)別具有很重要的意義，例如可以為健康人和聾啞人搭建正常交流的平臺(tái)，可以為人機(jī)交互提供另一種可行方案，等等。手語(yǔ)識(shí)別應(yīng)用的手勢(shì)捕獲設(shè)備主要有數(shù)據(jù)手套、計(jì)算機(jī)視覺(jué)、表面肌電和加速計(jì)等傳感設(shè)備。其中，基于肌電和加速度信號(hào)的手語(yǔ)識(shí)別技術(shù)具有便攜、經(jīng)濟(jì)與高效的特點(diǎn)，是中科大神經(jīng)肌肉控制實(shí)驗(yàn)室近年來(lái)的重點(diǎn)研究方向。
　　 本課題研究圍繞基于肌電和加速度的手語(yǔ)識(shí)別技術(shù)而展開(kāi)。在模式識(shí)別的一般流程中，分類(lèi)器的設(shè)計(jì)至關(guān)重要。2001年Laff

2、erty提出的條件隨機(jī)場(chǎng)模型，由于其具有剔除觀(guān)測(cè)序列獨(dú)立性、特征函數(shù)選擇靈活性和條件概率建模全局性的三大理論特性，被廣泛的運(yùn)用與各類(lèi)領(lǐng)域的模式識(shí)別中。本課題擬將條件隨機(jī)場(chǎng)模型(Conditional Random Fields，CRF)引入基于肌電和加速度的中國(guó)手語(yǔ)識(shí)別中，對(duì)其應(yīng)用的可行性及有效性進(jìn)行了系統(tǒng)的研究其主要研究?jī)?nèi)容及成果如下:
　　 (1)介紹了中國(guó)手語(yǔ)詞的完整識(shí)別方案。具體包括:首先，對(duì)連續(xù)手語(yǔ)句子信號(hào)進(jìn)行預(yù)處理，

3、并利用移動(dòng)平均法進(jìn)行活動(dòng)段分割;其次，對(duì)手語(yǔ)詞的肌電信號(hào)進(jìn)行分幀與特征提取，對(duì)加速度信號(hào)進(jìn)行降采樣處理;再次，對(duì)特征進(jìn)行基于決策樹(shù)的預(yù)分類(lèi);最后，從較小的子集空間中，選擇底層分類(lèi)器完成最終的識(shí)別。
　　 (2)對(duì)條件隨機(jī)場(chǎng)及其分支的理論框架進(jìn)行了剖析。充分分析了條件隨機(jī)場(chǎng)各分支的拓?fù)浣Y(jié)構(gòu)差異，指出其分別適用于不同的手語(yǔ)識(shí)別任務(wù)。分析了各種不同分支的條件概率計(jì)算方法，訓(xùn)練階段所遵循的準(zhǔn)則函數(shù)等，為手語(yǔ)詞和連續(xù)手語(yǔ)識(shí)別提供理論基礎(chǔ)。

4、
　　 (3)實(shí)現(xiàn)了基于隱條件隨機(jī)場(chǎng)(Hidden Conditional Random Fields，HCRF)的手語(yǔ)詞識(shí)別。介紹了代表模型結(jié)構(gòu)的特征函數(shù)的選取、簡(jiǎn)單模型預(yù)訓(xùn)練、參數(shù)轉(zhuǎn)換的參數(shù)的初始化及更新算法。在選取了最佳模型基本參數(shù)和模型結(jié)構(gòu)后，采用HCRF對(duì)120類(lèi)手語(yǔ)詞得到了91.51％的平均識(shí)別率，驗(yàn)證了其運(yùn)用于手語(yǔ)詞識(shí)別的可行性及有效性。
　　 (4)探索了基于潛在動(dòng)態(tài)條件隨機(jī)場(chǎng)(Latent Dynami