基于神經(jīng)網(wǎng)絡(luò)的中小詞匯量中國手語識(shí)別研究.pdf

1、手語，作為聾啞人群體的常用語言，在聾啞人與普通人間搭建了一座自由溝通的橋梁。然而，鑒于手語對(duì)普通人來說依舊晦澀難懂，兩個(gè)群體間的交流障礙仍然時(shí)常發(fā)生。如果能夠通過手語識(shí)別技術(shù)，將手語轉(zhuǎn)換為文字或者語音進(jìn)行表達(dá)，將極大地便利聾啞人與普通人間的交流。同時(shí)，作為人機(jī)交互領(lǐng)域的一個(gè)不可或缺的分支，手語識(shí)別研究也在當(dāng)今這個(gè)智能時(shí)代顯得愈發(fā)重要。
　　數(shù)據(jù)獲取與處理、特征的設(shè)計(jì)以及識(shí)別模型的選擇是一個(gè)高效的手語識(shí)別算法所必須考慮的三個(gè)因素。微

2、軟的Kinect設(shè)備能夠方便經(jīng)濟(jì)地捕獲精確的顏色圖像、空間深度映射數(shù)據(jù)以及關(guān)節(jié)點(diǎn)坐標(biāo)，相較于傳統(tǒng)的數(shù)據(jù)手套或者二維攝像頭更具優(yōu)勢(shì)。因此，本文將以Kinect作為手語數(shù)據(jù)獲取設(shè)備，對(duì)手語識(shí)別中的手語特征設(shè)計(jì)與識(shí)別模型構(gòu)建進(jìn)行研究，主要研究內(nèi)容包括:
　　1.依據(jù)手語詞匯的手形特點(diǎn)，設(shè)計(jì)了一種新型的手語特征手形(Specific Hand Shape，SHS)特征。本文通過分析中國手語詞匯的手形特點(diǎn)，提出了設(shè)計(jì)手語特征手形庫所需遵守的

3、的6條準(zhǔn)則與一種快速構(gòu)建中國手語特征手形數(shù)據(jù)庫的方法。依靠特征手形數(shù)據(jù)庫，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了一種新型的SHS特征。該特征針對(duì)手語特征手形的分類正確率達(dá)99.59％，而傳統(tǒng)的方向梯度直方圖特征則只有94.35％,實(shí)驗(yàn)結(jié)果顯示SHS特征對(duì)手語手形的表征效果更好。
　　2.依據(jù)長短時(shí)記憶(Long Short-Term Memory,LSTM)循環(huán)神經(jīng)網(wǎng)絡(luò)算法，提出一種基于LSTM編碼器-解碼器結(jié)構(gòu)的孤立詞手語識(shí)別算法，在80個(gè)手