基于最大熵原理的漢語詞義消歧與標注語言模型研究.pdf

1、詞義消歧一直是計算語言學領(lǐng)域的一個重要研究課題，對機器翻譯、信息檢索、內(nèi)容和主題分析、文本分類、語音識別等領(lǐng)域有著重要的影響，可以幫助解決語言信息處理中的一系列理論和實踐難題。 最大熵模型是一種基于統(tǒng)計的機器學習模型，提供了一種分類的方法，成功地運用在自然語言處理的許多領(lǐng)域，并得到了較好的結(jié)果。 本文以北京大學計算語言學研究所開發(fā)的較大規(guī)模人民日報詞義標注語料為基礎(chǔ)，從以下幾個方面進行了研究： 論述了多義詞上下文

2、包含的各種特征信息如顯性信息、半顯性信息、隱性信息以及如何提取這些信息。 結(jié)合《現(xiàn)代漢語語法信息詞典》、《現(xiàn)代漢語語義詞典》和知網(wǎng)等資源，探討了多知識源的知識融合技術(shù)與方法，并在此基礎(chǔ)上，研究從融合知識源中獲取詞義消歧知識的技術(shù)以及構(gòu)建相應(yīng)的詞義消歧知識庫，解決因訓練語料不足而導(dǎo)致知識匱乏或數(shù)據(jù)稀疏問題。 設(shè)計并實現(xiàn)了一個面向漢語詞義自動標注研究的實驗平臺，在該實驗平臺中，在“基于歸納學習的統(tǒng)計與規(guī)則相結(jié)合的排歧模型”和