漢語(yǔ)虛詞用法在短語(yǔ)句法分析中的應(yīng)用研究.pdf

1、句法分析是自然語(yǔ)言處理的基本任務(wù)之一，是語(yǔ)義理解、問(wèn)答系統(tǒng)等自然語(yǔ)言理解任務(wù)實(shí)現(xiàn)的基礎(chǔ)。本文根據(jù)已有的現(xiàn)代漢語(yǔ)虛詞用法知識(shí)庫(kù)，初步探討了基于漢語(yǔ)虛詞用法的短語(yǔ)邊界識(shí)別在句法分析中的應(yīng)用，將虛詞用法應(yīng)用于不同短語(yǔ)邊界識(shí)別方法；在此基礎(chǔ)上進(jìn)一步提出了基于短語(yǔ)邊界的句法分析模型Phrase_Based Parser。在CTB8.0數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明Phrase_Based Parser能夠改正因某些短語(yǔ)邊界錯(cuò)誤而導(dǎo)致的錯(cuò)誤句法樹，平均準(zhǔn)確

2、率提升了6.9％。本文的主要研究工作如下：
　　1）根據(jù)現(xiàn)代漢語(yǔ)虛詞用法知識(shí)庫(kù)對(duì) CTB8.0（Chinese Treebank8.0）中的虛詞分布進(jìn)行了統(tǒng)計(jì)分析，統(tǒng)計(jì)顯示在 CTB8.0的全部詞中虛詞占有很重要的比例。利用CRF模型對(duì)CTB8.0中的虛詞用法進(jìn)行自動(dòng)識(shí)別標(biāo)注。使用Berkeley Parser對(duì) CTB8.0的原語(yǔ)料進(jìn)行句法分析，對(duì)得到的句法樹進(jìn)行錯(cuò)誤分析，發(fā)現(xiàn)包含虛詞成分的短語(yǔ)邊界平均錯(cuò)誤率達(dá)40.76%，可見

3、短語(yǔ)邊界的正確性將會(huì)影響句法分析的準(zhǔn)確率。
　　2）構(gòu)建基于CTB8.0的語(yǔ)料庫(kù)。本文構(gòu)建了基于CTB8.0的標(biāo)準(zhǔn)短語(yǔ)邊界標(biāo)注語(yǔ)料庫(kù)，設(shè)計(jì)了一組短語(yǔ)標(biāo)記符號(hào)，并構(gòu)建了基于CTB8.0的短語(yǔ)標(biāo)記樹庫(kù)。
　　3）研究基于虛詞用法的規(guī)則和統(tǒng)計(jì)模型在介詞短語(yǔ)、連詞相關(guān)短語(yǔ)以及包含助詞“的”的短語(yǔ)邊界識(shí)別中的應(yīng)用，實(shí)驗(yàn)結(jié)果表明，基于規(guī)則的短語(yǔ)邊界識(shí)別結(jié)果平均準(zhǔn)確率達(dá)到47.06%；基于CRF模型的短語(yǔ)邊界識(shí)別結(jié)果平均準(zhǔn)確率達(dá)到了73.

4、69%，基于CNN模型的短語(yǔ)邊界識(shí)別結(jié)果平均準(zhǔn)確達(dá)到了75.54%。
　　4）提出了一個(gè)基于短語(yǔ)邊界的句法分析模型Phrase_Based Parser，在CTB8.0的數(shù)據(jù)集上的實(shí)驗(yàn)表明，對(duì)包含介詞短語(yǔ)的句子，Phrase_Base Parser的句法分析結(jié)果比Berkeley Parser的結(jié)果F值提高了2.72%，對(duì)包含連詞相關(guān)短語(yǔ)的句子Phrase_Base Parser的句法分析結(jié)果比Berkeley Parser的結(jié)果