中文多詞表達抽取研究.pdf

1、多詞表達是指由兩個及以上具有一定的句法和語義關(guān)聯(lián)的詞語構(gòu)成的意義相對完整的語義單元。多詞表達問題是目前自然語言處理領(lǐng)域最棘手的問題之一，多詞表達會導(dǎo)致分詞和語義等方面的錯誤增加，進而影響機器翻譯和句法分析等實際應(yīng)用的性能。在中文多詞表達里，“動詞+名詞”以及“名動詞+名詞”的多詞表達最為常見，因此，本文主要以中文“動詞+名詞”以及“名動詞+名詞”的多詞表達為研究對象，包含多詞表達的自動抽取和應(yīng)用。本文的研究的主要內(nèi)容有以下的幾個方面:<

2、br>　　1、基于雙語語料多詞表達候選的抽取。利用印歐語言的邊界來幫助確定漢語中完整語義單元的邊界。本文利用短語對齊工具對中英雙語句對齊語料進行對齊處理，然后抽取多詞表達候選，并與基于詞對齊工具的方法進行比較。本文對北大中英對齊語料進行實驗，基于短語對齊抽取的多詞表達候選F值為55.95％，基于詞對齊抽取的多詞表達候選F值為45.32％。
　　2、基于句法分析的多詞表達候選的抽取。由于句法分析能夠識別出句子的語法結(jié)構(gòu)，對語言的處理

3、可以深入語言的內(nèi)部結(jié)構(gòu)。本文利用三種句法分析器:哈工大句法分析器，伯克利句法分析器，斯坦福句法分析器分別對北大對齊語料的中文部分進行句法分析，然后再抽取特定依存關(guān)系的詞語對作為多詞表達候選，正確率分別為哈工大42.40％，伯克利41.00％，斯坦福39.73％。
　　3、構(gòu)建中文“動詞+名詞”以及“名動詞+名詞”多詞表達分類數(shù)據(jù)集。構(gòu)建過程分兩步:統(tǒng)計過濾、多詞表達分類?；诮y(tǒng)計的方法處理大規(guī)模語料時比較方便快捷，且不依賴具體領(lǐng)域

4、。本文采用內(nèi)部度量方法互信息，外部度量方法C-value等進行多詞表達候選的過濾。多詞表達分類是將過濾后的多詞表達進行分類:定中類和述賓類，來構(gòu)建分類數(shù)據(jù)集，這對以后的研究具有重要的意義。
　　4、句法分析結(jié)果糾錯。將本文自動抽取的中文多詞表達與句法分析結(jié)果進行比較，進行句法分析糾錯。本文對哈工大句法分析器的分析結(jié)果與抽取的多詞表達進行比較，結(jié)果發(fā)現(xiàn)哈工大的分析結(jié)果中出現(xiàn)本文抽取出的多詞表達的定中結(jié)構(gòu)正確率為98.87％，述賓結(jié)構(gòu)