大詞匯量手語詞語分割的研究.pdf

1、中國手語環(huán)境下的自然語言處理是人工智能的一個(gè)重要分支，而手語環(huán)境下的漢語自動(dòng)分詞是中國自然語言處理的一項(xiàng)基礎(chǔ)性工作，也是中文信息處理的一個(gè)重要問題，同時(shí)也是實(shí)現(xiàn)自然語言和手語語言互譯的一個(gè)技術(shù)難點(diǎn)。 中國手語環(huán)境下的分詞方法和通用的分詞方法差異很大，本文在分析手語詞匯和手語環(huán)境的基礎(chǔ)上，進(jìn)行了排歧問題、手語詞語分割問題等方面的研究。 本文提出了一種基于統(tǒng)計(jì)模型和知識(shí)庫相結(jié)合歧義消減算法，即一種基于詞的二元模型的廣度似然比

2、GLR算法，該算法結(jié)合了互信息MI模型和似然比LR模型的優(yōu)點(diǎn)，不但減少了排歧過程的計(jì)算量，而且解決了數(shù)據(jù)稀疏敏感的問題。實(shí)驗(yàn)表明，該方法可有效的進(jìn)行歧義消減。 本文關(guān)于手語詞語分割的問題主要做了兩方面的工作： 手語詞典重構(gòu)問題：針對(duì)中國手語的特點(diǎn)設(shè)計(jì)了適應(yīng)于手語環(huán)境的字典重構(gòu)策略，首先根據(jù)詞典中無重復(fù)的手語詞的首字進(jìn)行HASH散列，然后首字相同的詞語聚類存儲(chǔ)。此結(jié)構(gòu)不但使首字相同的詞語聚類，而且提高了詞語查找匹配的速度。

3、 手語詞分割的算法方面：提出了一種漸進(jìn)式長度優(yōu)先的正向匹配和逆向匹配分詞算法。該方法不僅極大縮減了詞語查找范圍，且大大的減少了手語詞查找和匹配的次數(shù)，提高了系統(tǒng)的性能，保證了系統(tǒng)的實(shí)時(shí)性。 本文設(shè)計(jì)和實(shí)現(xiàn)了大詞匯量手語詞的“漢語自動(dòng)分詞系統(tǒng)”，該系統(tǒng)包括Web文本的抓取和解析模塊、語料預(yù)處理模塊、語料切分模塊、歧義字段識(shí)別和消減等模塊。通過用大量的不同類型的語料作為測試集，做了封閉式和開放式的實(shí)驗(yàn)，驗(yàn)證了系統(tǒng)的性能。與人