非時(shí)齊語言建模技術(shù)研究及實(shí)踐.pdf

1、語言模型是自然語言的數(shù)學(xué)描述，是人們?yōu)榱私忉?、利用自然語言規(guī)律而構(gòu)建的抽象的形式化系統(tǒng)。語言模型的研究是自然語言處理領(lǐng)域的基礎(chǔ)性研究，其研究成果可以被直接地應(yīng)用到漢語音字轉(zhuǎn)換任務(wù)中，并且能夠被廣泛地應(yīng)用在語音識(shí)別、手寫體識(shí)別、印刷品字符識(shí)別、機(jī)器翻譯、信息檢索、語料庫多級(jí)加工等眾多的自然語言應(yīng)用領(lǐng)域當(dāng)中。
　　當(dāng)前，隨著網(wǎng)絡(luò)信息的飛速增長，海量電子文本的獲得已不再困難，概率統(tǒng)計(jì)的方法以其準(zhǔn)確率高、魯棒性強(qiáng)等優(yōu)點(diǎn)成為語言建模領(lǐng)域的主

2、要方法。統(tǒng)計(jì)語言模型成為當(dāng)前的主流語言模型。然而，統(tǒng)計(jì)語言模型單純從統(tǒng)計(jì)角度出發(fā)，將自然語言看作是語言元素的隨機(jī)序列，而忽略了語言本身的規(guī)律和特點(diǎn)。如何在統(tǒng)計(jì)語言模型中利用語言學(xué)知識(shí)成為當(dāng)前語言建模領(lǐng)域面臨的難題之一。目前，將語言學(xué)知識(shí)直接與統(tǒng)計(jì)語言建模技術(shù)相結(jié)合面臨如下困難：1.語言學(xué)知識(shí)難以精確地自動(dòng)獲得；2.語言學(xué)知識(shí)難以與現(xiàn)有的統(tǒng)計(jì)建模技術(shù)相融合。
　　針對(duì)上述問題，本文提出通過研究語言單位在自然語言序列中的位置信息和規(guī)律

3、來間接地反映自然語言的語法語義信息。語言單位因其語法語義屬性不同，其可以充當(dāng)?shù)恼Z言成分不同，在句子以及篇章中所起到的作用也不相同，它在自然語言文本中出現(xiàn)的位置和范圍具有一定的規(guī)律性。這種規(guī)律是自然語言語法語義規(guī)律的體現(xiàn)。針對(duì)上述規(guī)律，本文在隨機(jī)過程理論的基礎(chǔ)上擴(kuò)展了時(shí)齊性假設(shè)，提出非時(shí)齊語言建模假設(shè)，即假設(shè)當(dāng)前語言單位的出現(xiàn)概率與它在自然語言序列中的位置相關(guān)。在此基礎(chǔ)上，本文分別對(duì)非時(shí)齊語言建模的理論、技術(shù)、方法和相關(guān)問題進(jìn)行研究，并將

4、其應(yīng)用到漢語音字轉(zhuǎn)換任務(wù)中，從而提高漢語鍵盤輸入系統(tǒng)的性能。本文的研究?jī)?nèi)容主要包含以下四個(gè)方面：
　　第一，本文進(jìn)行語言建模研究的資源準(zhǔn)備工作，提出一種面向漢語語言建模的詞表自動(dòng)生成算法。本文首先將詞表自動(dòng)生成工作同漢語語言建模工作相結(jié)合，設(shè)計(jì)一種一體化迭代算法框架，通過建立優(yōu)化詞表的方式來提高現(xiàn)有語言模型的性能。在該框架下，本文采用統(tǒng)計(jì)特征與構(gòu)詞特征相結(jié)合的詞表生成策略，以提高詞表生成算法的性能。最后，本文提出兩種啟發(fā)式方法使系

5、統(tǒng)自動(dòng)適應(yīng)訓(xùn)練語料的領(lǐng)域，從而使系統(tǒng)具有自適應(yīng)性。
　　第二，本文進(jìn)行非時(shí)齊語言建模的理論與方法研究。首先，本文討論了語言單位非時(shí)齊屬性的量化表示方法，并在此基礎(chǔ)上分析了語言單位非時(shí)齊屬性的統(tǒng)計(jì)規(guī)律。接下來，本文將非時(shí)齊屬性規(guī)律與現(xiàn)有的語言建模技術(shù)相結(jié)合，分別提出非時(shí)齊Ngram模型和非時(shí)齊最大熵馬爾科夫模型，并討論了模型構(gòu)建、訓(xùn)練方法、參數(shù)平滑和模型復(fù)雜度等問題。最后，本文分別在音字轉(zhuǎn)換和詞性標(biāo)注任務(wù)中對(duì)以上兩種模型進(jìn)行驗(yàn)證。<

6、br>　　第三，針對(duì)語言模型中的數(shù)據(jù)稀疏問題，本文提出基于語義的平滑算法。本文從Hownet和同義詞詞林等語言學(xué)資源中提取漢語語義信息，將其分別與回退平滑和插值平滑技術(shù)相結(jié)合，設(shè)計(jì)基于語義的回退和插值平滑算法，從而提高平滑后語言模型的性能。并且，本文設(shè)計(jì)基于迭代的參數(shù)優(yōu)化方法，自動(dòng)優(yōu)化平滑算法中的各項(xiàng)參數(shù)。
　　第四，本文將語言建模技術(shù)應(yīng)用到漢語鍵盤輸入任務(wù)中。首先，針對(duì)手機(jī)等移動(dòng)設(shè)備上的拼音漢字輸入法，本文提出鍵音轉(zhuǎn)換問題，同時(shí)