中國(guó)手語(yǔ)識(shí)別中自適應(yīng)問(wèn)題的研究.pdf

1、隨著計(jì)算機(jī)的發(fā)明，模式識(shí)別得以出現(xiàn)和發(fā)展。手語(yǔ)識(shí)別作為模式識(shí)別研究中的一個(gè)熱點(diǎn)問(wèn)題，近年來(lái)受到越來(lái)越多研究者的重視。手語(yǔ)識(shí)別，是借助計(jì)算機(jī)自動(dòng)將手語(yǔ)信號(hào)轉(zhuǎn)換為文本或語(yǔ)音的過(guò)程。手語(yǔ)識(shí)別具有重要的社會(huì)現(xiàn)實(shí)意義和巨大的理論研究?jī)r(jià)值。首先，手語(yǔ)識(shí)別能夠在聾啞人與健聽(tīng)人之間架起橋梁，從而促進(jìn)社會(huì)和諧發(fā)展。其次，手語(yǔ)是一種相對(duì)規(guī)范的手勢(shì)集合，手語(yǔ)識(shí)別與其它手勢(shì)分析問(wèn)題相比相對(duì)簡(jiǎn)單，可以作為更為普遍的手勢(shì)分析研究的一個(gè)前期平臺(tái)。最后，手語(yǔ)識(shí)別涉及計(jì)

2、算機(jī)視覺(jué)、模式識(shí)別、機(jī)器學(xué)習(xí)、智能人機(jī)接口等研究領(lǐng)域，其研究有助于促進(jìn)這些領(lǐng)域內(nèi)其它類似問(wèn)題的研究。
　　手語(yǔ)識(shí)別研究經(jīng)過(guò)多年的積累，已經(jīng)在特定人識(shí)別領(lǐng)域取得了很好的結(jié)果。然而，當(dāng)測(cè)試者與訓(xùn)練集中所有人手語(yǔ)打法差異較大時(shí)，系統(tǒng)性能下降明顯。采集足夠多的訓(xùn)練數(shù)據(jù)訓(xùn)練普適模型，能夠部分解決該問(wèn)題。然而，由于不同人做相同手語(yǔ)差異較大，因此，模型訓(xùn)練不易收斂。而且，普適模型參數(shù)分布比較平緩，能夠?qū)Υ蟛糠譁y(cè)試者取得較好的識(shí)別結(jié)果；但是，對(duì)于

3、特定用戶，其性能與特定人模型差距明顯。自適應(yīng)手語(yǔ)識(shí)別利用新用戶數(shù)據(jù)對(duì)普適模型的參數(shù)進(jìn)行修正，使模型更適合于新用戶。該方法與人類認(rèn)知事物由一般到特殊的機(jī)理相契合。
　　本文圍繞手語(yǔ)識(shí)別的自適應(yīng)問(wèn)題展開(kāi)研究。根據(jù)自適應(yīng)數(shù)據(jù)所屬類別是否已知，自適應(yīng)分為有監(jiān)督自適應(yīng)和無(wú)監(jiān)督自適應(yīng)。有監(jiān)督自適應(yīng)中需要已知自適應(yīng)數(shù)據(jù)的所屬類別，因此需要用戶顯式采集自適應(yīng)數(shù)據(jù)。由于顯式的數(shù)據(jù)采集過(guò)程需要用戶參與，對(duì)系統(tǒng)的易用性造成損害。因此，有監(jiān)督自適應(yīng)的核心

4、問(wèn)題是：如何利用盡可能少的自適應(yīng)數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行修正。無(wú)監(jiān)督自適應(yīng)中不需要自適應(yīng)數(shù)據(jù)的所屬類別，因此自適應(yīng)數(shù)據(jù)可以在用戶使用系統(tǒng)的同時(shí)自動(dòng)采集，無(wú)需用戶參與。然而，使用無(wú)標(biāo)號(hào)數(shù)據(jù)之前必須對(duì)其進(jìn)行標(biāo)注，以確定其類別。因此，無(wú)監(jiān)督自適應(yīng)的核心問(wèn)題是：如何有效利用大量的無(wú)標(biāo)號(hào)數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行修正。
　　對(duì)于有監(jiān)督自適應(yīng)問(wèn)題，提出了基于基本單元提取的手語(yǔ)識(shí)別自適應(yīng)方法和基于模范均值選擇和最大后驗(yàn)概率/循環(huán)矢量場(chǎng)平滑（Maximum A

5、 Posteri-ori/Iterative Vector Field Smoothing, MAP/IVFS）的手語(yǔ)識(shí)別自適應(yīng)方法。由于基于詞根的手語(yǔ)識(shí)別方法能夠取得同基于詞匯的手語(yǔ)識(shí)別方法相當(dāng)?shù)淖R(shí)別結(jié)果，因此，本文提出基于詞根的手語(yǔ)識(shí)別自適應(yīng)方法。實(shí)驗(yàn)結(jié)果證明，同基于詞匯的方法相比，基于詞根的手語(yǔ)識(shí)別自適應(yīng)方法能夠在基本保持原有識(shí)別率的基礎(chǔ)上，大大降低所需采集的自適應(yīng)數(shù)據(jù)數(shù)量。進(jìn)一步，分析中國(guó)手語(yǔ)的多數(shù)據(jù)流和詞間片段數(shù)據(jù)相似的特點(diǎn)，

6、可以對(duì)模型均值進(jìn)行聚類以便得到更底層的手語(yǔ)詞編碼。根據(jù)此編碼，可以通過(guò)部分手語(yǔ)詞樣本，生成詞匯集中其它詞匯的手語(yǔ)詞樣本，利用這些樣本進(jìn)行模型自適應(yīng)，能夠提高模型的識(shí)別率。
　　實(shí)驗(yàn)結(jié)果證明，該方法能夠進(jìn)一步降低所需采集的自適應(yīng)數(shù)據(jù)數(shù)量。為進(jìn)一步減少自適應(yīng)數(shù)據(jù)，提出了基于模范均值選擇和MAP/IVFS的手語(yǔ)識(shí)別自適應(yīng)方法。通過(guò)對(duì)手語(yǔ)詞模型的均值向量進(jìn)行聚類，可以提取出模范均值向量子集，進(jìn)而得到模范手語(yǔ)詞子集，該子集能夠表征新用戶的個(gè)

7、性特征。僅采集該子集中的詞匯的新用戶數(shù)據(jù)，可以對(duì)相應(yīng)的模型進(jìn)行自適應(yīng)。未得到自適應(yīng)的模型，可以通過(guò)模型之間的相關(guān)性和得到自適應(yīng)的模型參數(shù)估計(jì)得到。
　　盡管有監(jiān)督自適應(yīng)能夠以較少的數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行修正，然而，顯式的數(shù)據(jù)采集過(guò)程必不可少。無(wú)監(jiān)督自適應(yīng)可以通過(guò)隱式采集自適應(yīng)數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行修正。對(duì)于無(wú)監(jiān)督自適應(yīng)問(wèn)題，提出了結(jié)合簡(jiǎn)化多項(xiàng)式段模型（Simplified Polynomial Segment Model, SPSM）和隱

8、馬爾可夫模型（Hidden Markov Model, HMM）的手語(yǔ)識(shí)別無(wú)監(jiān)督自適應(yīng)方法和基于假設(shè)比較導(dǎo)引交叉驗(yàn)證的無(wú)監(jiān)督自適應(yīng)方法。HMM適合描述具有明顯狀態(tài)跳轉(zhuǎn)的手語(yǔ)詞，對(duì)于一些無(wú)明顯狀態(tài)跳轉(zhuǎn)的漸變的手語(yǔ)詞，其描述能力較弱，這源于HMM幀間數(shù)據(jù)獨(dú)立同分布的假設(shè)。SPSM能夠描述幀間數(shù)據(jù)的相關(guān)性，因此適合于描述另一類手語(yǔ)詞。結(jié)合SPSM和HMM，對(duì)無(wú)標(biāo)號(hào)數(shù)據(jù)進(jìn)行標(biāo)注，能夠增加標(biāo)注準(zhǔn)確率，進(jìn)而提升無(wú)監(jiān)督自適應(yīng)性能。傳統(tǒng)的自學(xué)習(xí)自適應(yīng)方