統(tǒng)計(jì)語(yǔ)言模型的研究與應(yīng)用.pdf

1、統(tǒng)計(jì)語(yǔ)言模型在自然語(yǔ)言處理技術(shù)中占有重要地位，在語(yǔ)音識(shí)別、光學(xué)字符識(shí)別、機(jī)器翻譯、漢語(yǔ)拼音輸入、信息檢索等許多系統(tǒng)中都得到了成功的應(yīng)用。
　　 然而，現(xiàn)有的統(tǒng)計(jì)語(yǔ)言模型還存著一些缺陷，其中，對(duì)語(yǔ)言中常見(jiàn)的長(zhǎng)距相依現(xiàn)象的描述能力弱、在語(yǔ)料變化時(shí)難以保持一致的描述能力是兩個(gè)制約其產(chǎn)生更大應(yīng)用價(jià)值的重要問(wèn)題。
　　 本文針對(duì)統(tǒng)計(jì)語(yǔ)言模型存在的上述不足之處，對(duì)漢語(yǔ)語(yǔ)言模型從多個(gè)角度出發(fā)，開(kāi)展了多項(xiàng)研究工作，旨在有效克服或緩解這些

2、問(wèn)題。論文的主要工作和研究成果如下：
　　 1、統(tǒng)計(jì)語(yǔ)言模型是基于語(yǔ)料而建立的，語(yǔ)料中各種信息的使用程度直接關(guān)系到語(yǔ)言模型的性能。作為開(kāi)展統(tǒng)計(jì)語(yǔ)言模型研究的第一步，本文首先完成了一個(gè)語(yǔ)料檢索工具。該工具能夠使用復(fù)雜邏輯表達(dá)式進(jìn)行檢索，也能夠通過(guò)用戶自定義的表達(dá)式來(lái)檢索語(yǔ)料中的各種語(yǔ)言模式。
　　 2、為了提高統(tǒng)計(jì)語(yǔ)言模型描述語(yǔ)言長(zhǎng)距相依現(xiàn)象的能力，本文從擴(kuò)大模型單元和跳躍模型單元兩個(gè)方面開(kāi)展了研究。
　　 本文認(rèn)

3、為擴(kuò)大模型單元是解決長(zhǎng)距相依問(wèn)題的一個(gè)有效手段，為此提出了一種基于中文高頻詞串（Chinese Frequent String：CFS）的語(yǔ)言模型。本文首先給出了一種基于字串切分度的CFS抽取算法，基于該算法抽取的CFS比詞具有更大的顆粒度。實(shí)驗(yàn)表明，在模型階數(shù)相同的情況下，基于CFS的語(yǔ)言模型比基于字或詞的語(yǔ)言模型具有更好的建模長(zhǎng)距相依現(xiàn)象的能力。
　　 在跳躍模型單元方面，本文提出了一種基于漢語(yǔ)句子語(yǔ)義框架的語(yǔ)言模型（Sem

4、antic Frame Based Language Model：SFLM），模型基于語(yǔ)義框架中論元與主動(dòng)詞的關(guān)聯(lián)直接建模句子中的長(zhǎng)距相依關(guān)系。由于主動(dòng)詞框架與動(dòng)詞義項(xiàng)直接關(guān)聯(lián)，本文將AdaBoosting的方法用于主動(dòng)詞的詞義消歧中，來(lái)輔助語(yǔ)義框架的確定。實(shí)驗(yàn)表明，這種基于語(yǔ)義結(jié)構(gòu)的N元語(yǔ)言模型能夠有效建模長(zhǎng)距相依關(guān)系，降低模型的復(fù)雜度。
　　 3、針對(duì)語(yǔ)言模型在跨語(yǔ)料種類時(shí)表現(xiàn)的性能差異問(wèn)題，本文從生成模型和判別模型兩種不同

5、的訓(xùn)練方法上進(jìn)行了研究。
　　 在生成模型方面，針對(duì)于語(yǔ)料改變時(shí)產(chǎn)生的嚴(yán)重?cái)?shù)據(jù)稀疏現(xiàn)象，本文提出了一種對(duì)傳統(tǒng)Kneser-Ney平滑（以后簡(jiǎn)稱K-N平滑）進(jìn)行優(yōu)化的參數(shù)估計(jì)方法。實(shí)驗(yàn)表明，基于本文提出的優(yōu)化K-N平滑算法的線性插值N元語(yǔ)言模型具有較好的跨語(yǔ)料適應(yīng)能力。
　　 在判別模型方面，在最小樣本風(fēng)險(xiǎn)（Minimum Sample Risk：MSR）訓(xùn)練方法中結(jié)合N-best算法，降低了算法的復(fù)雜性，進(jìn)而研究了這種判

6、別模型在不同語(yǔ)料下的模型性能和自適應(yīng)能力。
　　 4、漢語(yǔ)拼音輸入（拼音-漢字轉(zhuǎn)換：后簡(jiǎn)稱音字轉(zhuǎn)換）是統(tǒng)計(jì)語(yǔ)言模型的一個(gè)重要應(yīng)用領(lǐng)域。本文最后研究了語(yǔ)言模型在漢語(yǔ)音字轉(zhuǎn)換中的應(yīng)用。
　　 拼音流切分是在進(jìn)行音字轉(zhuǎn)換之前所必需的預(yù)處理。本文借鑒漢語(yǔ)字串流切分中的術(shù)語(yǔ)，首次歸納定義了音字轉(zhuǎn)換任務(wù)中進(jìn)行拼音流切分時(shí)所能遇到的兩種歧義，即交集歧義和組合歧義。并分別針對(duì)兩種歧義提出了相應(yīng)的基于語(yǔ)言模型的消歧算法。實(shí)驗(yàn)表明，算法均具