現(xiàn)代漢語重疊式的識(shí)別及統(tǒng)計(jì)分析.pdf

1、現(xiàn)代漢語形態(tài)缺乏，但重疊式還是比較豐富的。根據(jù)大規(guī)模語料調(diào)查顯示，重疊式的能產(chǎn)性和派生性極強(qiáng)，利用重疊形式創(chuàng)造出的重疊新詞數(shù)量在現(xiàn)代漢語中的比例仍然呈上升趨勢(shì)，因此對(duì)重疊式的研究不能僅僅局限于語言理論的層面。本文將研究的著力點(diǎn)放在了語料庫中的重疊式，進(jìn)行了重疊式的抽取、切分不一致的比較、重疊式識(shí)別和統(tǒng)計(jì)等一系列研究。
　　本文首先對(duì)重疊式進(jìn)行了較為系統(tǒng)的考察，包括與重疊式相關(guān)的幾個(gè)概念的辨析，漢語詞典和三大詞表中重疊式的分布等情況

2、，為下文識(shí)別和分析重疊式打下理論基礎(chǔ)。通過對(duì)《現(xiàn)代漢語詞典》及詞表進(jìn)行統(tǒng)計(jì)分析，從中發(fā)現(xiàn)一些語言學(xué)現(xiàn)象，并對(duì)《現(xiàn)漢》中重疊式的收錄問題進(jìn)行了初步探討，提出了一些改進(jìn)的意見。
　　其次本文對(duì)重疊式的切分錯(cuò)誤統(tǒng)計(jì)及分析，該部分研究的對(duì)象有兩個(gè)，一個(gè)是現(xiàn)有的分詞語料庫，另一個(gè)是成熟的分詞軟件。分別對(duì)它們的重疊式切分錯(cuò)誤進(jìn)行統(tǒng)計(jì)，并試圖分析其切分錯(cuò)誤的原因。文中以翔實(shí)的數(shù)據(jù)說明，重疊式切分上，流行的分詞軟件在錯(cuò)誤率高達(dá)8％至48％，經(jīng)人工

3、校對(duì)后的分詞語料庫錯(cuò)誤率也達(dá)到1％至11％(均依重疊類型和語料類型而有不同)。
　　本文通過引入正則表達(dá)式和CRF統(tǒng)計(jì)模型進(jìn)行重疊式的識(shí)別研究。重疊式的識(shí)別工作主要有三個(gè)步驟，一是利用正則表達(dá)式提取重疊式的候選，二是利用詞表過濾輔以人工校對(duì)的方法對(duì)重疊式候選進(jìn)行篩選，三是利用CRF模型對(duì)重疊式的所屬類型進(jìn)行判定。識(shí)別結(jié)果表明，利用CRF對(duì)各種重疊式的判定正確率都能達(dá)到95％左右，是一個(gè)相當(dāng)不錯(cuò)的結(jié)果。
　　文章最后利用前文研