基于CRF模型的漢語介詞短語識別.pdf

1、介詞短語是漢語中一種重要的短語類型。介詞短語識別可以縮小句子中心動詞的選擇范圍；可以簡化句子結(jié)構(gòu)，降低后續(xù)句法分析的難度；在基于模板的翻譯中，它還能為模板匹配提供方便。 本文首先指出了當(dāng)前完全語法分析的困難，并介紹了介詞短語識別的研究現(xiàn)狀及技術(shù)路線，提出了漢語介詞短語識別的重要性和可行性。在研究過程中，本文繼承了Church提出的把BaseNP識別看作詞性標(biāo)注同構(gòu)問題的思想，嘗試在淺層句法分析這個階段識別介詞短語。由于CRF具有

2、表達元素長距離依賴性和交疊性特征的能力，并且介詞短語的平均詞長比較長，決定采用CRF模型來識別介詞短語。首先考慮采用基于CRF單層模型來識別介詞短語，在實驗分析中發(fā)現(xiàn)嵌套介詞短語、跨越分句的介詞和有歧義的介詞短語識別錯誤導(dǎo)致整個識別精確率不高，后面兩類介詞短語識別難度較大，不重點研究。本文只針對嵌套介詞短語識別錯誤提出了一種基于CRF的層次結(jié)構(gòu)來識別介詞短語。據(jù)統(tǒng)計發(fā)現(xiàn)，在大量文本出現(xiàn)的都是兩層嵌套，三層嵌套在文本中的比例很少，所以只需

3、用基于CRF雙層模型來識別介詞短語。第一層CRF識別無嵌套介詞短語和嵌套介詞短語的內(nèi)層部分，第二層CRF識別嵌套介詞短語的外層部分，之后將兩層結(jié)果合并，最后用規(guī)則進行后續(xù)處理。 實驗表明，利用基于CRF雙層模型的方法來識別中文介詞短語是有效的；系統(tǒng)使用含有7000余個介詞短語的2000年人民日報語料的開放測試精確率達到90.08％。和當(dāng)前同類文獻相比，本識別系統(tǒng)取得比較好的識別結(jié)果。由于介詞短語結(jié)構(gòu)上和動詞短語有相似之處，它的研