基于移動(dòng)互聯(lián)網(wǎng)的手語(yǔ)翻譯器的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、根據(jù)第六次全國(guó)人口普查我國(guó)總?cè)丝跀?shù)和第二次全國(guó)殘疾人抽樣調(diào)查我國(guó)殘疾人數(shù)占全國(guó)總?cè)丝跀?shù)的比例和各類(lèi)殘疾人數(shù)占?xì)埣踩丝側(cè)藬?shù)的比例，可以預(yù)測(cè)2017年聾人總?cè)藬?shù)將會(huì)超過(guò)2700萬(wàn)人。眾所周知，與其他類(lèi)殘疾人相比較，和聾人溝通更加困難。為了解決聾人與正常人的溝通困境，本文提出了一套自然手語(yǔ)資源建設(shè)、服務(wù)平臺(tái)開(kāi)發(fā)和手機(jī)終端APP實(shí)現(xiàn)的綜合方案。
　　本系統(tǒng)主要做了以下幾方面的工作：
　　1.電子化手語(yǔ)資源：首先收集日常對(duì)話(huà)300句，

2、設(shè)計(jì)了這300句日常對(duì)話(huà)相關(guān)的語(yǔ)義資源（自然語(yǔ)言和自然手語(yǔ)之間翻譯所需的語(yǔ)義知識(shí)）；編寫(xiě)爬蟲(chóng)程序，從我愛(ài)手語(yǔ)網(wǎng)中爬取了手語(yǔ)圖片資源，通過(guò)整理，建立了手語(yǔ)圖片庫(kù)；建立了3個(gè)手語(yǔ)角色模型，手Key了30手語(yǔ)動(dòng)作，建立手語(yǔ)動(dòng)畫(huà)庫(kù)；收集手語(yǔ)視頻，建立手語(yǔ)視頻庫(kù)。
　　2.開(kāi)發(fā)了資源管理系統(tǒng)。該模塊主要是對(duì)文法知識(shí)庫(kù)和對(duì)手語(yǔ)資源庫(kù)的管理，本系統(tǒng)將文法知識(shí)庫(kù)分類(lèi)為日常對(duì)話(huà)庫(kù)、語(yǔ)素?cái)?shù)據(jù)庫(kù)、詞語(yǔ)庫(kù)、短語(yǔ)庫(kù)、同義詞辭典、術(shù)語(yǔ)語(yǔ)義網(wǎng)、自然手語(yǔ)文法和自

3、然語(yǔ)言文法庫(kù)。在開(kāi)發(fā)過(guò)程中，使用了大規(guī)模知識(shí)管理技術(shù)，設(shè)立一套通用化的知識(shí)管理建模方案。該套方案是一般知識(shí)管理系統(tǒng)工具中所沒(méi)有的，是一種細(xì)粒度的管理，這種細(xì)粒度的知識(shí)管理，使得平臺(tái)分析管理員可以更有效的從知識(shí)的運(yùn)行中實(shí)時(shí)地掌握用戶(hù)的使用情況，從而更有效地進(jìn)行科學(xué)決策。
　　3.搭建了自然手語(yǔ)資源服務(wù)平臺(tái)，為接入平臺(tái)的應(yīng)用系統(tǒng)提供手語(yǔ)資源服務(wù)，包括自然語(yǔ)言處理和手語(yǔ)動(dòng)畫(huà)生成功能。在自然語(yǔ)言處理技術(shù)方面，本系統(tǒng)主要采用概念空間+語(yǔ)義文

4、法+意圖分析+知識(shí)融合的技術(shù)路線(xiàn)，綜合起來(lái)完成語(yǔ)義分析。在動(dòng)畫(huà)自動(dòng)生成技術(shù)方面，主要采用關(guān)鍵幀動(dòng)畫(huà)技術(shù)，運(yùn)動(dòng)路徑動(dòng)畫(huà)技術(shù)，變形動(dòng)畫(huà)技術(shù)，逐幀動(dòng)畫(huà)等，自主設(shè)計(jì)了一種可支撐不同角色的手語(yǔ)骨骼動(dòng)畫(huà)自動(dòng)生成+專(zhuān)家調(diào)優(yōu)結(jié)合的模式。該模式不僅融合了人工智能的研究成果，也融合了手語(yǔ)專(zhuān)家、知識(shí)管理員、動(dòng)畫(huà)專(zhuān)家等人工因素，是一種人機(jī)結(jié)合的服務(wù)模式。
　　4.開(kāi)發(fā)手機(jī)APP。在開(kāi)發(fā)手機(jī)APP過(guò)程中，設(shè)計(jì)了語(yǔ)音、文本的輸入功能，學(xué)習(xí)手語(yǔ)功能，設(shè)計(jì)了AP

5、P的界面。手機(jī)APP采用Web服務(wù)客戶(hù)端的方式訪(fǎng)問(wèn)自然語(yǔ)言資源服務(wù)平臺(tái)提供的自然語(yǔ)言處理和動(dòng)畫(huà)自動(dòng)生成功能。其中APP的語(yǔ)音輸入功能，本系統(tǒng)通過(guò)降噪算法，去除背景噪音，得到清晰無(wú)雜音的人聲，然后調(diào)用訊飛語(yǔ)音識(shí)別云，識(shí)別之后，訊飛服務(wù)器將返回這段人聲對(duì)應(yīng)的文字。
　　5.在以上工作的基礎(chǔ)之上，本文設(shè)計(jì)并開(kāi)發(fā)出全新的一套手語(yǔ)翻譯器。
　　本文從志愿者協(xié)會(huì)中，隨機(jī)抽取100位完全不懂手語(yǔ)的志愿者，隨機(jī)將這100位志愿者分成4組，分

6、別利用讓懂手語(yǔ)的老師教、使用手語(yǔ)詞典自學(xué)手語(yǔ)、上網(wǎng)看手語(yǔ)視頻、使用手語(yǔ)翻譯器四種方式進(jìn)行手語(yǔ)學(xué)習(xí)，學(xué)習(xí)內(nèi)容是系統(tǒng)提供的160個(gè)手語(yǔ)詞匯，學(xué)習(xí)時(shí)間是1周，并設(shè)計(jì)了同樣的學(xué)習(xí)效果測(cè)試試卷，考試時(shí)間2個(gè)小時(shí)。測(cè)試結(jié)果為，使用手語(yǔ)詞典學(xué)習(xí)手語(yǔ)的志愿者的正確率11.9％，跟著手語(yǔ)老師學(xué)習(xí)手語(yǔ)的志愿者正確率為23.1%，網(wǎng)上自學(xué)手語(yǔ)的志愿者的正確率為正確率為43.1%，使用手語(yǔ)翻譯器學(xué)習(xí)手語(yǔ)的志愿者的正確率74.3%。通過(guò)比較，本系統(tǒng)的手機(jī)APP學(xué)