基于最大熵的漢語介詞短語自動識別.pdf

1、介詞短語是漢語中一種重要的短語類型。介詞短語識別可以縮小句子中心動詞的選擇范圍；可以簡化句子結(jié)構(gòu)，降低后續(xù)句法分析的難度；在基于模板的翻譯中，它還能為模板匹配提供方便。 本文首先指出了當(dāng)前完全語法分析的困難，而介詞短語識別和其他類型短語識別以及組塊分析是一種解決問題的途徑。并介紹了介詞短語識別的研究現(xiàn)狀以及技術(shù)路線，提出了漢語介詞短語識別的重要性和可行性。隨后在繼承了語言學(xué)家工作的基礎(chǔ)上，對漢語介詞短語的語義，語法，語用情況進(jìn)行

2、了討論，提出了基于漢語介詞短語的分類體系，制定面向計(jì)算機(jī)的介詞短語的標(biāo)注規(guī)范。在研究過程中，本文繼承了Church提出的把BaseNP識別看作詞性標(biāo)注同構(gòu)問題的思想，嘗試在淺層句法分析這個(gè)層級識別介詞短語。本文實(shí)現(xiàn)介詞短語識別的系統(tǒng)是基于最大熵的統(tǒng)計(jì)模型，最大熵模型具有簡潔、通用和可移植等特點(diǎn)，能夠靈活地選取特征，同時(shí)可以把計(jì)算模型和語言模型作為獨(dú)立地模塊處理，而不必關(guān)心語言內(nèi)部的細(xì)節(jié)。特征集合的選取是最大熵模型的關(guān)鍵，它選取合適與否決

3、定了介詞短語識別結(jié)果的好壞。因此在本文中針對漢語介詞短語的劃分和識別，提出了詞、詞性標(biāo)注是構(gòu)成介詞短語識別的主要因素，并根據(jù)這幾種因素結(jié)合介詞短語的語用特征來確定最大熵模型的特征空間，從中自動獲取介詞短語識別的有效特征集合。 實(shí)驗(yàn)表明，利用基于最大熵模型的方法來識別中文介詞短語是有效的：系統(tǒng)使用含有7000余個(gè)介詞短語的2000年人民日報(bào)語料的開放測試精確率達(dá)到89.1﹪。和當(dāng)前同類文獻(xiàn)相比，本識別系統(tǒng)取得了比較好的識別結(jié)果。并