基于卷積網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)的中國手語詞識別方法研究.pdf

1、手語識別是通過人機(jī)交互技術(shù)(Human Computer Interaction，HCI)將采集到的手語翻譯成文字或者語音，為聽障人群提供語言交流上的便利，也為先天性失聰?shù)拿@啞患兒，增添了從小接受良好教育的機(jī)會。研究手語識別，構(gòu)建一個(gè)完整的可應(yīng)用系統(tǒng)，能夠保障聽障人群的學(xué)習(xí)工作和生活，促進(jìn)社會和諧發(fā)展，具有重要的社會現(xiàn)實(shí)意義。除此之外，科技生活也逐漸成為現(xiàn)代人們的一種生活方式，研究基于計(jì)算機(jī)視覺的手語手勢識別作為一種人機(jī)交互模式，也可以

2、給現(xiàn)代人的智能生活帶來舒適便捷的體驗(yàn)。
　　手語識別作為一種時(shí)序性任務(wù)，時(shí)序性建模的優(yōu)劣是識別效果好壞的關(guān)鍵因素。隨著近年來基于深度學(xué)習(xí)的方法在計(jì)算機(jī)視覺領(lǐng)域取得的重大發(fā)展和突破，充分展示了卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）的特征提取能力和遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的時(shí)序建模能力。因此，本文根據(jù)Kinect2.0獲取的中國手語樣本數(shù)據(jù)，利用深度

3、神經(jīng)網(wǎng)絡(luò)來構(gòu)建手語識別框架，本文的主要研究內(nèi)容包括:
　　1.根據(jù)中國手語詞的可拆分特性及詞內(nèi)的上下文聯(lián)系，我們細(xì)化了手語標(biāo)簽，以中國漢字作為我們識別的詞典元素單元，將手語識別視為一種類似視頻描述的任務(wù)，以特征序列作為輸入，以表達(dá)序列作為輸出，并構(gòu)建了一個(gè)基于CNN和長短時(shí)記憶單元(Long Short Term Memory，LSTM)的手語識別框架。通過CNN提取手語圖片的空間特征，利用LSTM構(gòu)建編碼解碼網(wǎng)絡(luò)，針對輸入的特征

4、，在編碼端進(jìn)行時(shí)序特征的提取，并傳送到解碼端進(jìn)行詞典元素的解碼。
　　2.我們使用多模信息融合來進(jìn)一步提升識別的準(zhǔn)確率。我們將Kinect2.0獲取的三維骨骼點(diǎn)作為手語樣本的軌跡特征，在前述框架的基礎(chǔ)之上，提出了三種多模融合方法。分別為基于特征的融合，固定權(quán)重的模型融合以及自適應(yīng)權(quán)值的模型融合。實(shí)驗(yàn)表明，三種融合方法在識別性能上均得到提升，其中，自適應(yīng)模型融合方法測試結(jié)果達(dá)到97.7％。
　　3.一個(gè)手語圖片序列往往存在一些