非特定人手語數(shù)據(jù)的流形結(jié)構(gòu)分析與識(shí)別.pdf

1、手語識(shí)別研究的目的是增進(jìn)聾人與聽力健康人之間無障礙的交流，提高計(jì)算機(jī)對(duì)人體語言的理解能力。非特定人手語識(shí)別是推動(dòng)手語識(shí)別系統(tǒng)實(shí)用化所必須解決的問題。目前，非特定人手語識(shí)別與特定人手語識(shí)別性能相比還有較大的差距，其主要原因在于數(shù)據(jù)本身的差異性矛盾與訓(xùn)練樣本的匱乏。數(shù)據(jù)差異性矛盾使得非特定人手語識(shí)別中提取手語數(shù)據(jù)有效的共同特征非常困難。在實(shí)際應(yīng)用中，模型的表達(dá)能力與樣本的缺乏之間的矛盾已經(jīng)成為制約識(shí)別系統(tǒng)效果的瓶頸。
　　為解決上述兩

2、方面的問題，本文將流形思想結(jié)合到傳統(tǒng)的HMM手語模型中，主要的研究工作如下：
　　1．通過Isomap算法直觀展現(xiàn)手語數(shù)據(jù)的流形結(jié)構(gòu)。同類數(shù)據(jù)集在幾何上具有某種由內(nèi)在不變性形成的嵌套流形結(jié)構(gòu)，這種結(jié)構(gòu)本身對(duì)應(yīng)了單一的流形概念。Isomap方法是最常用的流形可視化算法，其對(duì)手語數(shù)據(jù)的處理結(jié)果證明了手語數(shù)據(jù)本身包含著流形結(jié)構(gòu)，可將HMM模型中的狀態(tài)類與流形概念對(duì)應(yīng)起來，挖掘其內(nèi)在的不變性。
　　2．根據(jù)Isomap可視化結(jié)果，提

3、出一種TV/HMM手語模型。利用流形概念具有一定學(xué)習(xí)和推理能力的優(yōu)點(diǎn)，引入切向量來線性表達(dá)數(shù)據(jù)的可變性，對(duì)類內(nèi)允許的變化程度進(jìn)行有效建模，從而使分類器對(duì)某些不造成類別變化的數(shù)據(jù)變化不敏感，并且在訓(xùn)練集較小的情況下，通過對(duì)幾何結(jié)構(gòu)的描述，獲得對(duì)數(shù)據(jù)個(gè)體差異的形式化描述。TV/HMM模型既加入了對(duì)特異性因素的處理，又彌補(bǔ)了訓(xùn)練數(shù)據(jù)不足造成的缺陷。
　　3．實(shí)現(xiàn)了基于TV/HMM的手語詞識(shí)別系統(tǒng)。系統(tǒng)利用最大似然估計(jì)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)切向