基于Moses的漢語詞義消歧.pdf

1、漢語詞匯中歧義詞的出現(xiàn)給語言的使用帶來了很大的變化和便捷，但同時也給自然語言的理解帶來了很大困難。詞義消歧的工作就是設(shè)法確定歧義詞在特定語境下的語義。自然語言處理的相關(guān)領(lǐng)域中，詞義消歧的問題是一種經(jīng)常遇到的難題。隨著自然語言處理應(yīng)用的不斷推廣，詞義消歧問題也逐漸成為了許多領(lǐng)域里急待解決的基礎(chǔ)性難題。
　　通過對消歧領(lǐng)域知識的深入學(xué)習(xí)，本文提出了一種基于統(tǒng)計(jì)學(xué)習(xí)的詞義消歧方法。該方法以漢語句子為消歧單元，試圖為句子中每個詞匯找到一個

2、對應(yīng)的語義。這種方法能較好的利用漢語語境信息，也具有統(tǒng)計(jì)方法的靈活性和對語言發(fā)展的適應(yīng)性。本文的研究內(nèi)容主要分為以下三個方面:
　　其一，介紹了詞義消歧問題的提出和研究意義，以及在國內(nèi)外的發(fā)展?fàn)顩r。分析了一些主流詞義消歧技術(shù)的適用場景及可能遇到的問題。
　　其二，分析了實(shí)驗(yàn)中使用到的相關(guān)詞典和語料資源。包括《同義詞詞林》中層級的語義關(guān)聯(lián)知識，并采用三層語義編碼的方式表示實(shí)驗(yàn)中的語義。測試語料和訓(xùn)練語料各自的來源、組織方式和預(yù)

3、處理等。最后針對測試語料和訓(xùn)練語料中語義表示方式存在的差異，根據(jù)語言學(xué)知識及研究目的設(shè)計(jì)了語義歸一化的處理規(guī)則。
　　其三，分析了詞義消歧所用知識的來源，并采用短語-語義類的對應(yīng)知識和語義類之間的關(guān)聯(lián)知識來表示歧義詞的語義環(huán)境，在這一基礎(chǔ)上利用統(tǒng)計(jì)學(xué)方法學(xué)習(xí)這兩方面知識，并構(gòu)建了詞義消歧模型。借鑒統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)Moses的解碼算法，在漢語句子的語義類網(wǎng)絡(luò)中尋找一條最優(yōu)語義類序列，用于確定歧義詞匯的真實(shí)含義。最后采用對比實(shí)驗(yàn)的方式