面向中文信息處理的漢語復(fù)句中書讀短語的自動識別研究.pdf

1、語料庫語言學(xué)在1990年代得到迅速的發(fā)展。語料庫語言學(xué)的要旨是讓計(jì)算機(jī)從大規(guī)模真實(shí)文本語料中直接學(xué)習(xí)并自動處理語言信息。然而，原始語料的利用價(jià)值有限，如果在原始語料中預(yù)先加入一定的語言學(xué)知識，計(jì)算機(jī)就會自動獲得更多的信息，并可以利用標(biāo)注好的語料統(tǒng)計(jì)帶詞性的詞頻、同形異類詞的分布等應(yīng)用價(jià)值更高的數(shù)據(jù)。因此，深加工的語料庫成為計(jì)算語言學(xué)的基礎(chǔ)資源，而語料庫的深加工技術(shù)也成為計(jì)算語言學(xué)的研究熱點(diǎn)之一。 在中文信息處理方面，對于漢語信息

2、的處理應(yīng)該包括有字處理和詞處理、句處理、篇章處理。到目前為止，基本上還停留在“字和詞處理”階段，大多數(shù)研究成果都是基于字和詞的研究，對于句子的研究尤其是漢語復(fù)句的計(jì)算機(jī)處理相對較少，因此必須逐步實(shí)現(xiàn)“字和詞處理"階段到“句處理”階段的過渡。 漢語的句子從結(jié)構(gòu)上劃分為單句和復(fù)句兩大類，復(fù)句的意義容量比一般單句大，常表示人和人、事和事及人與事的邏輯意義關(guān)系。復(fù)句一般由分句構(gòu)成，各分句單獨(dú)從其結(jié)構(gòu)上看實(shí)際上就是小句。復(fù)句是小句的聯(lián)結(jié)，

3、它下連小句，上連篇章，在單句和篇章之間起到了一個(gè)很好的銜接作用，同時(shí)兼有語法、語義和語用等多方面的屬性，在語言學(xué)中具有重要的研究意義，而復(fù)句的層次關(guān)系則從某種意義上來說是復(fù)句研究的靈魂。 在研究復(fù)句層次劃分和層次關(guān)系之前，首先應(yīng)理清分句的結(jié)構(gòu)，哪些語言片段(引入語言片段的概念，是指復(fù)句中以標(biāo)點(diǎn)符號結(jié)尾的句子的一個(gè)部分)是真正的分句，哪些語言片段只是加了標(biāo)點(diǎn)符號的句法成分(文中借用邢福義先生提出的“書讀短語”概念，即指復(fù)句中以標(biāo)點(diǎn)

4、符號結(jié)尾的非分句語言片段)。本文結(jié)合語言學(xué)的相關(guān)理論，首先建立基于詞性信息的明顯形式標(biāo)記庫和形式化規(guī)則庫對書讀短語進(jìn)行基于規(guī)則方法的自動識別。接下來，引入基于書讀短語可信度計(jì)算的統(tǒng)計(jì)方法，結(jié)合書讀短語的靜態(tài)特征以及前后語境信息特征判定待測語言片段是否為書讀短語。最后采用聚類分析的方法對書讀短語自動識別做進(jìn)一步研究。實(shí)驗(yàn)結(jié)果證明，基于明顯形式標(biāo)記庫和形式化規(guī)則庫的書讀短語的自動識別正確率開放測試在81.6％左右；基于可信度計(jì)算的書讀短語自