手話特徴量

1、,手指ならびに非手指情報(bào)の畫像計(jì)測(cè)と統(tǒng)合に基づく実用的手話翻訳の研究,○計(jì)畫研究 ウ白 井 良 明　島 田 伸 敬（立 命 館 大 學(xué)）三 浦　純　（大 阪 大 學(xué)）,手話者をテレビカメラで観測(cè)し、両手の動(dòng)きと形狀ならびに顔の表情や口の動(dòng)きを解析する。ロバストにするための光源や背景の設(shè)定方法、畫像特徴の種類と抽出法、話者の個(gè)人差や環(huán)境変動(dòng)への適応法などを研究。,3年間の研究目的,畫像系列から、複雑背景での手の動(dòng)きと形狀を

2、解析した。手指情報(bào)から手話を認(rèn)識(shí)する研究をした。ロバストな認(rèn)識(shí)を行うため、サンプルデータの自動(dòng)合成を提案した。顔の特徴を抽出し、表情を認(rèn)識(shí)した。ここでは、手指情報(bào)からの手話認(rèn)識(shí)を述べる。,3年間の研究,研究の背景,音聲→手話の変換システム音聲（またはテキスト）に対応する手話をCG表示（比較的早期に実現(xiàn)）手話→音聲の変換システムデータグローブ等で手指形狀データを取得?。ㄊ衷捳撙呜?fù)擔(dān)が大きい）手のシルエットと3次元も出るとの

3、照合?。ㄎ摇─窝芯郡坤瑫r(shí)間がかかる）,被験者の負(fù)擔(dān)の少ない、設(shè)置の容易な手話認(rèn)識(shí)システムへの要望,,システムの概要,手話→日本語音聲の変換システムの構(gòu)築,手話,手話特徴,學(xué)習(xí)データベース,,特徴抽出（畫像処理）,固定カメラからの畫像,學(xué)習(xí),,手話特徴,,,認(rèn)識(shí)結(jié)果（日本語）,,マッチング,ＨＭＭによる認(rèn)識(shí),ＨＭＭによる學(xué)習(xí),特徴抽出,手話畫像から學(xué)習(xí)?認(rèn)識(shí)で用いる特徴系列を抽出するための畫像処理カラーの背景差分による人物領(lǐng)域抽出肌

4、色領(lǐng)域抽出肘?手首抽出領(lǐng)域の追跡と隠蔽（手や顔の重なり）検出、分離,特徴量出（肌色の検出）,初期のフレームから肌色をサンプルサンプルから肌色を決定,,肌色検出,,,９０％の等確率楕円,肌色分布（HS色空間）,隠蔽時(shí)の処理,,,,,,,,,,隠蔽狀態(tài)の肌色領(lǐng)域,保存してある顔テンプレート畫像,,,,,,,相関の高い部分（顔領(lǐng)域）,相関の低い部分（手領(lǐng)域）,,,,,ブロックごとに相関を計(jì)算,,,,,,大體の手領(lǐng)域を取得できるため、

5、　?テンプレートマッチング精度の向上　?手の形狀が変化する際に利用,,テンプレートマッチングによる分離,テンプレート保存,テンプレート保存,,,,,,,逆向きに探索,顔と手の隠蔽処理結(jié)果の例,手話特徴量,,,,,顔からの距離,動(dòng)きの速度?方向,顔からの方向,,,,,,,,,,,,慣性主軸方向,手の面積,突起數(shù),円形度,位置に関する特徴量,形狀に関する特徴量,位置?速度に関する特徴量,顔の近くで行う手話ほど、手の位置や細(xì)かい動(dòng)きが

6、重要,顔からの距離顔からの方向手の速度のx,y方向成分,,,,黒,両手の手話では左右の手の相対位置が重要,,,合う,小さい,両手の手話では左手から見た右手の相対座標(biāo)を特徴として加える,特徴量を変更した場(chǎng)合の結(jié)果,位置?速度に関する特徴量の変更前,位置?速度に関する特徴量の変更後,顔からの距離顔からの方向手の速度のx,y方向成分,特徴量の変更後に正解となった単語,HMMによる學(xué)習(xí),HMMはLeft-to-Right単語ごとに狀態(tài)

7、數(shù)を設(shè)定する必要がある手の移動(dòng)や手の形の変化時(shí)に対して狀態(tài)が遷移する,狀態(tài)數(shù)決定の例（狀態(tài)數(shù)：5）,速度による狀態(tài)分割,速度の閾値によって運(yùn)動(dòng)區(qū)間（M)と靜止區(qū)間（S)に分割ノイズによる運(yùn)動(dòng)區(qū)間は靜止區(qū)間とする靜止區(qū)間が短かければ、運(yùn)動(dòng)區(qū)間の境界とする運(yùn)動(dòng)區(qū)間でも谷が深ければ分割,,,,,,,,,,①,①,②,③,,,S,,,,,M,M,,,M,,M,速度と方向による狀態(tài)分割,動(dòng)きの速度,動(dòng)きの方向,(rad),フレーム,0,3

8、0,60,90,0,25,50,0,4,-8,-16,,,,,,,,,,方向変化,,,運(yùn)動(dòng)區(qū)間內(nèi)で、運(yùn)動(dòng)方向が大きく変化しすれば、分割,,顔からの方向を用いた狀態(tài)分割,,,,速さ,顔からの距離,顔からの方向,黒,従來の狀態(tài)分割法,動(dòng)きの速さ 動(dòng)きの方向,顔の近くでゆっくり動(dòng)く手話では、運(yùn)動(dòng)區(qū)間と靜止區(qū)間を分割できない,,,,手話単語の認(rèn)識(shí)実験,一単語あたり３シーケンス用いたデータ狀態(tài)分割において３シーケンスとも狀態(tài)數(shù)の揃ったもの1

9、5単語（両手:５単語?片手:１0単語）組み合わせを変えながら、３シーケンスのうち２つを?qū)W習(xí)用、殘りを認(rèn)識(shí)用に用いた２シーケンスで狀態(tài)數(shù)が等しく、殘りの１つは靜止區(qū)間の數(shù)が異なるもの（両手:７単語?片手:１単語）狀態(tài)數(shù)の等しい２つを?qū)W習(xí)用（狀態(tài)數(shù)の數(shù)を変えて２つのモデルを作成）、殘りを認(rèn)識(shí)用に用いた,認(rèn)識(shí)結(jié)果,両手の手話では高い認(rèn)識(shí)率が得られた片手の手話での認(rèn)識(shí)率は低かったテンプレートマッチングの失敗による影響動(dòng)きのよく似た手

10、話が多い學(xué)習(xí)データが少ない,認(rèn)識(shí)結(jié)果（両手の手話）,認(rèn)識(shí)データ,學(xué)習(xí)モデル,両手の手話,認(rèn)識(shí)結(jié)果（片手の手話）,片手の手話,認(rèn)識(shí)データ,學(xué)習(xí)モデル,手形狀データから學(xué)習(xí)データの合成,手話単語を手の形によって分類それぞれの手話単語から対応する手の形狀データを取り出し、データベースを作成データベースから同じ手形のものを選び、対応部分と入れ替え（位置?速度の特徴はそのまま使用）,ヒ,,,,ヒ,赤,手形狀データから學(xué)習(xí)データの合成,手話単

11、語を手の形によって分類それぞれの手話単語から対応する手の形狀データを取り出し、データベースを作成データベースから同じ手形のものを選び、対応部分と入れ替え（位置?速度の特徴はそのまま使用）,,,ヒ,赤,,,ヒ,手形による手話単語の分類,半円型,お金,長(zhǎng)い?短い,,手形データの合成を行った単語例,HMMによる學(xué)習(xí)?認(rèn)識(shí)実験,認(rèn)識(shí)データは１つ。學(xué)習(xí)データはテストデータを除くデータと、　　それから合成されたデータ２つ,５つを?qū)W習(xí)データ、

12、１つを認(rèn)識(shí)データとして組み合わせを変えて３回実験,両手の手話17単語、片手の手話21単語,新しく生成されたサンプルを加える場(chǎng)合,各単語、各手話者に３つの元データ２人の手話者のデータ（計(jì)６種類）,Experimental result,expert,beginner,合成データの追加により成功した例,好き,赤,赤,嫌い,,,,,手形による合成データの追加により成功,誤認(rèn)識(shí),,誤認(rèn)識(shí),,,,Example of failure,,Over