基于統(tǒng)計的漢語依存句法分析研究.pdf

1、句法分析是自然語言處理的核心課題之一。依存句法分析是應(yīng)用依存語法對自然語言進行自動句法分析，具有形式簡單、易于標(biāo)注、便于應(yīng)用等優(yōu)點，可運用于關(guān)系抽取、機器翻譯、本體構(gòu)建、語義角色標(biāo)注等領(lǐng)域，具有廣泛的應(yīng)用前景。
　　句法分析方法可分為基于規(guī)則和統(tǒng)計的兩大類。在早期研究中，基于規(guī)則的方法占據(jù)主流。但由于其所存在的一些缺陷，80年代中期研究者們開始探索統(tǒng)計的方法。自90年代以來，隨著語料資源的獲取變得容易，統(tǒng)計方法成為主流。本文使用基

2、于語料庫的統(tǒng)計學(xué)習(xí)方法，對漢語的依存句法分析技術(shù)進行了探索。主要包括以下三方面：
　　第一，由于很多漢語樹庫多采用短語結(jié)構(gòu)的標(biāo)注形式，依存樹庫的建設(shè)還存在很多不足。所以，國內(nèi)外不少研究者都嘗試將短語結(jié)構(gòu)樹庫轉(zhuǎn)化為依存樹庫，轉(zhuǎn)化的第一步就要標(biāo)注句法成分的中心詞。針對此問題，本文提出一種基于層疊條件隨機場的統(tǒng)計和規(guī)則相結(jié)合的方法，來提高中心詞識別的準(zhǔn)確率，從而有利于樹庫之間的轉(zhuǎn)化。
　　第二，在漢語依存句法分析中，長距離依存關(guān)系

3、的識別是其中的一個難點，也是影響依存分析效果的主要原因。漢語句中的謂詞可將一個長句分割為兩個短句，從而降低了句法分析的難度。本文采用基于最長名詞短語前處理和規(guī)則后處理的方法來進行謂詞自動識別，為下一步長距離依存關(guān)系的分析奠定了基礎(chǔ)。
　　第三，本文將漢語依存句法分析分為依存弧和關(guān)系識別兩步進行。依存弧識別任務(wù)轉(zhuǎn)換為詞對分類問題，并采用了一個基于動態(tài)規(guī)劃的搜索算法，提高搜索效率。并在此基礎(chǔ)上，與MST依存句法分析器進行融合，來提高依