基于詞匯化統(tǒng)計模型的漢語句法分析研究.pdf

1、句法分析是自然語言處理的一個基本問題。許多自然語言處理任務(wù)，如機器翻譯、信息獲取、自動文摘等都要依賴句法分析的精確結(jié)果才能最終獲得滿意的解決。另一方面，語言是思維的載體，對自然語言句法分析的研究有助于研究人類思維的本質(zhì)，因此對自然語言句法分析的研究具有重要的理論和實用價值及深刻的哲學(xué)意義。
　　總體上來看，由于起步較晚、樹庫資源缺乏等原因，漢語句法分析技術(shù)不如英語句法分析技術(shù)發(fā)展的迅速。目前的漢語句法分析技術(shù)還滿足不了各種中文信息

2、處理系統(tǒng)的要求，所以對漢語句法分析的研究既意義重大又任重道遠。目前的主流技術(shù)還是基于統(tǒng)計的方法，本文主要研究統(tǒng)計框架下漢語句法分析問題。本文工作分四個部分進行，具體內(nèi)容如下：
　　1、對句子進行詞性標注是句法分析的一個重要環(huán)節(jié)。本文提出一種基于二元同現(xiàn)的漢語詞性標注模型。在隱馬爾可夫模型的基礎(chǔ)上，引入二元詞匯信息來加強詞性標注模型的歧義消解能力。該方法具有簡單、快速、有效的特點。
　　2、統(tǒng)計句法分析的基本理論是構(gòu)建基于統(tǒng)計

3、句法分析模型的基礎(chǔ)，已有的典型句法分析模型是漢語句法分析建模的經(jīng)驗來源和參照目標。本文率先在賓州中文樹庫5.0上應(yīng)用中心驅(qū)動模型進行漢語句法分析實驗，取得了比較成功的效果，驗證了應(yīng)用詞匯化統(tǒng)計模型進行漢語句法分析的可行性。
　　3、提出了一個兩級中文句法分析方法。根據(jù)我們定義的30種短語類型，提出了一個分治策略：即把所有的短語分為基本短語和復(fù)雜短語，針對兩種短語的語言特點，采用不同的模型來識別它們。首先，把基本短語識別轉(zhuǎn)化為最佳邊

4、界標記序列的搜索問題，提出一個基于馬爾可夫模型的基本短語識別方法。在此基礎(chǔ)上，識別漢語復(fù)雜短語。實驗結(jié)果表明，兩級中文句法分析方法一方面可以顯著提高句法分析系統(tǒng)的精確率和召回率，另一方面還有效降低了句法分析的復(fù)雜度，使系統(tǒng)處理文本的速度得到了提高。
　　4、提出了一種基于語義類的漢語句法分析方法。該方法以中心驅(qū)動模型為基礎(chǔ)，把自動獲取的語義類融入到句法分析模型中，為消解句法歧義提供語義類信息。利用一部語義詞典，應(yīng)用最小描述長度原理