中古漢語(yǔ)語(yǔ)料庫(kù)分詞不一致問題研究.pdf

1、在語(yǔ)言文字研究領(lǐng)域，基于大規(guī)模真實(shí)文本的語(yǔ)料庫(kù)發(fā)揮著越來越大的作用，建設(shè)大規(guī)模高質(zhì)量語(yǔ)料庫(kù)某種程度上是語(yǔ)言文字研究的基礎(chǔ)性工作。然而由于現(xiàn)階段語(yǔ)料庫(kù)在構(gòu)建過程中分詞標(biāo)注標(biāo)準(zhǔn)不統(tǒng)一甚至缺乏，再加上人工分詞、標(biāo)注、校驗(yàn)時(shí)難免疏忽，導(dǎo)致同一字段在相同、相似語(yǔ)境中切分結(jié)果不一致。這種現(xiàn)象在中古漢語(yǔ)語(yǔ)料建設(shè)中更為突出，它不僅影響了語(yǔ)料庫(kù)分詞的正確率，還將錯(cuò)誤帶到了語(yǔ)料進(jìn)一步加工、使用的環(huán)節(jié)。因此，應(yīng)將分詞一致性作為衡量語(yǔ)料庫(kù)質(zhì)量的重要標(biāo)準(zhǔn)之一。<

2、br>　　本文首先對(duì)深加工中古漢語(yǔ)語(yǔ)料庫(kù)作了簡(jiǎn)單地介紹，然后具體針對(duì)中古漢語(yǔ)語(yǔ)料庫(kù)中存在的分詞一致性問題，通過程序統(tǒng)計(jì)出其中的分詞不一致字段，從語(yǔ)言學(xué)角度對(duì)其進(jìn)行分類研究，并制定分詞標(biāo)準(zhǔn)，通過多種特征相結(jié)合的方法，來提高分詞結(jié)果的準(zhǔn)確率及一致性。該方法通過統(tǒng)計(jì)中古語(yǔ)料庫(kù)不一致字段，結(jié)合其語(yǔ)境，找出中古漢語(yǔ)分詞不一致產(chǎn)生的特殊原因，并針對(duì)這些字段制定具體的分詞規(guī)范，然后用人工校對(duì)的方法逐一解決實(shí)驗(yàn)語(yǔ)料中的分詞不一致問題?；贑RF分詞軟件

3、，引入多種分詞特征，尤其是詞典標(biāo)記，實(shí)現(xiàn)多種特征相結(jié)合的分詞方法分別進(jìn)行對(duì)比實(shí)驗(yàn)，最終選定最有利的分詞特征及模板。實(shí)驗(yàn)取得預(yù)期目標(biāo)，封閉測(cè)試準(zhǔn)確率達(dá)99％以上，開放測(cè)試準(zhǔn)確率也均超過了90％，證明基于中古特定分詞規(guī)范、統(tǒng)計(jì)與詞典相結(jié)構(gòu)的方法可以更好地解決分詞不一致問題，有效提高分詞準(zhǔn)確率。主要工作如下:
　　1.抽取中古漢語(yǔ)語(yǔ)料庫(kù)中28萬余人工分詞語(yǔ)料，運(yùn)用程序初步統(tǒng)計(jì)出其中可能存在分詞不一致的字段，在人工校對(duì)的基礎(chǔ)上，對(duì)這些字段

4、進(jìn)行分類，找出真正分詞不一致（個(gè)例不一致）的組合及其語(yǔ)境信息，確定本文研究對(duì)象。
　　2.從語(yǔ)言學(xué)角度分析中古漢語(yǔ)分詞不一致出現(xiàn)的獨(dú)有原因，然后從結(jié)構(gòu)角度對(duì)分詞不一致組合進(jìn)行分類，揭示特定結(jié)構(gòu)出現(xiàn)分詞不一致的狀況及原因，基于此建立中古漢語(yǔ)分詞規(guī)范。
　　3.依據(jù)規(guī)范整理28萬余人工分詞語(yǔ)料作為CRF訓(xùn)練語(yǔ)料，來解決語(yǔ)料中存在的個(gè)例不一致問題，提高分詞準(zhǔn)確率。在CRF分詞軟件中引入字符類型、聲韻調(diào)、部首、詞典詞標(biāo)這四種特征，通

5、過實(shí)驗(yàn)對(duì)比這幾個(gè)特征對(duì)分詞結(jié)果影響的權(quán)重;制定不同的分詞模板，在實(shí)驗(yàn)統(tǒng)計(jì)的基礎(chǔ)上選擇分詞結(jié)果最好的模板，從而確定CRF分詞特征及模板。
　　4.基于整理好的訓(xùn)練語(yǔ)料、實(shí)驗(yàn)效果最好的分詞特征及模板進(jìn)行CRF對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果達(dá)到預(yù)期目標(biāo)，開放測(cè)試、封閉測(cè)試的準(zhǔn)確率分別超過了99％和90％，并進(jìn)一步分析實(shí)驗(yàn)結(jié)果。
　　在統(tǒng)計(jì)分析數(shù)據(jù)的基礎(chǔ)上，本文詳盡研究了中古漢語(yǔ)分詞不一致字串，針對(duì)該字串制定了分詞規(guī)范，并提出了基于多特征的CR