基于統(tǒng)計(jì)的常用漢語副詞用法自動(dòng)識(shí)別研究.pdf

1、現(xiàn)代漢語副詞用法自動(dòng)識(shí)別是面向自然語言處理的現(xiàn)代漢語副詞知識(shí)庫研究的重要內(nèi)容之一，針對(duì)基于規(guī)則的現(xiàn)代漢語副詞用法自動(dòng)識(shí)別方法存在的不足，本文在已有工作的基礎(chǔ)上，進(jìn)一步提出了基于統(tǒng)計(jì)的常用漢語副詞用法自動(dòng)識(shí)別方法。分別采用條件隨機(jī)場(chǎng)模型、最大熵模型和支持向量機(jī)模型，在1998年1月份《人民日?qǐng)?bào)》分詞與詞性標(biāo)注語料上，對(duì)8個(gè)常用的現(xiàn)代漢語副詞進(jìn)行了統(tǒng)計(jì)實(shí)驗(yàn)，實(shí)驗(yàn)表明基于統(tǒng)計(jì)的方法在現(xiàn)代漢語副詞用法自動(dòng)識(shí)別上具有較好的識(shí)別效果，能夠很好地對(duì)未

2、知的副詞用法進(jìn)行預(yù)測(cè)，在真實(shí)語料中取得了較高的準(zhǔn)確率，與規(guī)則方法相比，統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果的平均準(zhǔn)確率有了較大的提高。實(shí)驗(yàn)證明基于統(tǒng)計(jì)的方法在常用現(xiàn)代漢語副詞用法自動(dòng)識(shí)別方面具有良好的應(yīng)用前景。
　　 根據(jù)俞士汶等提出的構(gòu)建“三位一體”的現(xiàn)代漢語虛詞知識(shí)庫的思想，本文著重研究現(xiàn)代漢語副詞用法的自動(dòng)識(shí)別，致力于采用統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)副詞用法的自動(dòng)識(shí)別。
　　 本文的主要工作包括：
　　 (1)針對(duì)已經(jīng)初步構(gòu)建的現(xiàn)代漢語副

3、詞知識(shí)庫，以副詞用法信息詞典中的例句集作為語料來考察副詞用法規(guī)則，分析規(guī)則存在的問題，對(duì)用法規(guī)則進(jìn)行修改，進(jìn)而完善副詞知識(shí)庫。
　　 (2)使用基于規(guī)則的方法對(duì)人民日?qǐng)?bào)語料中副詞用法進(jìn)行自動(dòng)識(shí)別，并對(duì)識(shí)別結(jié)果進(jìn)行人工校對(duì)，形成副詞用法語料庫，并作為實(shí)驗(yàn)語料。在對(duì)人民日?qǐng)?bào)語料進(jìn)行人工校對(duì)的同時(shí)，分析規(guī)則方法識(shí)別結(jié)果存在的問題，并進(jìn)一步完善副詞用法信息詞典以及副詞用法規(guī)則庫。
　　 (3)針對(duì)基于規(guī)則方法存在的不足，實(shí)現(xiàn)基于