基于無短語標(biāo)記樹庫的句法分析方法的研究.pdf

1、句法分析是自然語言處理領(lǐng)域的關(guān)鍵技術(shù)之一，在自然語言處理中具有十分重要的地位，它在機(jī)器翻譯、信息檢索、語音識(shí)別等研究中都有重要應(yīng)用。在機(jī)器翻譯的一些應(yīng)用中，只需要句法邊界信息而不需要短語標(biāo)記信息。主流的句法分析方法都是既產(chǎn)生句法邊界又產(chǎn)生短語標(biāo)記，并且在分析過程中需要利用短語標(biāo)記信息。
　　本文的目標(biāo)是得到句法邊界信息，并不需要短語標(biāo)記信息，因此本文主要研究能否不利用短語標(biāo)記信息而直接利用詞和詞性信息得到句法邊界的問題。僅僅利用詞

2、和詞性的邊界分析相當(dāng)于基于無短語標(biāo)記樹庫的句法分析。
　　句法樹中的短語可以分為一元短語和非一元短語。由于一元短語在樹庫中的比例比較小，并且將一元短語邊界分析和非一元短語邊界分析分開，有助于減少兩個(gè)階段的歧義性，因此本文首先進(jìn)行非一元短語邊界分析，然后在非一元短語邊界分析結(jié)果的基礎(chǔ)上進(jìn)行一元短語邊界分析。
　　本文提出了兩種可行的非一元短語邊界分析方法，一種是基于層次分析的邊界分析方法，另一種是基于移進(jìn)歸約的邊界分析方法?；?/p>

3、于層次的邊界分析方法將邊界分析問題轉(zhuǎn)化為層次組塊分析問題，自底向上按層進(jìn)行分析，該種方法在英語標(biāo)準(zhǔn)測試集上的F-測度接近85％。基于移進(jìn)歸約的邊界分析方法分為兩個(gè)階段，首先進(jìn)行基本短語邊界分析，然后進(jìn)行嵌套短語邊界分析，基本短語邊界分析采用組塊分析的方法，嵌套短語邊界分析采用移進(jìn)歸約的方法，該方法在英語標(biāo)準(zhǔn)測試集上的F-測度接近88%。這兩種方法在分析過程中都沒有利用短語標(biāo)記信息，分析結(jié)果也都沒有產(chǎn)生短語標(biāo)記。
　　本文最后在基于

4、移進(jìn)歸約的邊界分析方法基礎(chǔ)上進(jìn)行了一元短語邊界預(yù)測，將一元短語邊界預(yù)測問題轉(zhuǎn)化為預(yù)測由非一元短語邊界預(yù)測結(jié)果形成的句法樹中每個(gè)節(jié)點(diǎn)需要派生的一元規(guī)則個(gè)數(shù)的問題，并提出了一個(gè)層次分析模型來進(jìn)行個(gè)數(shù)預(yù)測，實(shí)驗(yàn)結(jié)果表明該方法能有效的預(yù)測一元短語邊界。
　　通過基于移進(jìn)歸約的非一元短語邊界分析和一元短語邊界分析兩個(gè)過程，本文得到了一個(gè)完整的邊界分析器，其邊界分析性能已經(jīng)與斯坦福句法分析器（Stanford Parser）相當(dāng)。本文的工作證