同形詞語法功能消歧.pdf

1、自動(dòng)句法分析是當(dāng)前計(jì)算語言學(xué)研究的一個(gè)熱點(diǎn)，同時(shí)也是一個(gè)難點(diǎn)。由于漢語本身的一些特點(diǎn)，使得漢語自動(dòng)句法分析的研究更加艱難。我們?cè)谧龌诠δ芷ヅ湔Z法的現(xiàn)代漢語自動(dòng)句法分析研究時(shí)發(fā)現(xiàn)，現(xiàn)代漢語同形詞存在許多語法功能歧義，給我們的自動(dòng)句法分析樹帶來了大量的分支，造成了很大的困難，而這些分支是可以通過單獨(dú)的處理或者預(yù)處理來加以消減的，因此有必要基于句法功能對(duì)同形詞單獨(dú)做一下探討。本研究在工程實(shí)踐的初始階段采取一些切實(shí)可行的措施對(duì)同形詞進(jìn)行處理，

2、減少了句法分析樹的分支數(shù)量，提高了分析器的速度和質(zhì)量。 本文先對(duì)清華973樹庫中的同形詞進(jìn)行統(tǒng)計(jì)分析，從統(tǒng)計(jì)結(jié)果可以看出，同形詞在現(xiàn)代漢語中占有較大的比例，具有很大的作用，因此處理好同形詞，對(duì)于現(xiàn)代漢語本體研究和自動(dòng)句法分析研究都有十分重要的意義。 由于我們的基于功能匹配語法的現(xiàn)代漢語自動(dòng)句法分析器只利用從清華973樹庫中統(tǒng)計(jì)出來的詞和短語的句法功能，舍棄了詞性和詞義等信息，因而我們對(duì)同形詞進(jìn)行處理時(shí)為了和功能匹配的句法

3、分析方法保持一致，就不能像其他大多數(shù)研究那樣利用詞性、詞義信息，而是只利用句法功能信息，這樣就把我們的消歧策略限定在的一定的范圍內(nèi)。排除詞性、詞義信息后，可以看到上下文信息也是可以用來消除同形詞語法功能歧義的有效信息。在借鑒以往詞性、詞義消歧研究和小規(guī)模實(shí)驗(yàn)的基礎(chǔ)上，本文決定基于同形詞的上下文信息來進(jìn)行同形詞語法功能消歧。本文的消歧策略分為兩部分：一是基于同形詞的語法搭配來進(jìn)行消歧，即根據(jù)同形詞的某個(gè)特定上下文搭配信息進(jìn)行語法功能消歧；

4、二是基于同形詞的上下文語境信息來進(jìn)行消歧，也就是通過計(jì)算同形詞上下文語境的相似度進(jìn)行語法功能消歧。這些策略都著眼于大規(guī)模語料的統(tǒng)計(jì)，語言學(xué)角度的分析和描寫較少，方法的一致性比較高，大大提高了結(jié)果的可信度。 本文用漢語中目前研究比較充分的“打”和“花”兩個(gè)詞為例進(jìn)行消歧實(shí)驗(yàn)，把清華973樹庫作為封閉測(cè)試的語料，用1998年1月人民日?qǐng)?bào)語料作為開放測(cè)試的語料，基于搭配的“打”和“花”語法功能消歧實(shí)驗(yàn)封閉測(cè)試的結(jié)果分別為80.4％和9