中古漢語語料庫分詞不一致問題研究.pdf

1、在語言文字研究領域，基于大規(guī)模真實文本的語料庫發(fā)揮著越來越大的作用，建設大規(guī)模高質量語料庫某種程度上是語言文字研究的基礎性工作。然而由于現(xiàn)階段語料庫在構建過程中分詞標注標準不統(tǒng)一甚至缺乏，再加上人工分詞、標注、校驗時難免疏忽，導致同一字段在相同、相似語境中切分結果不一致。這種現(xiàn)象在中古漢語語料建設中更為突出，它不僅影響了語料庫分詞的正確率，還將錯誤帶到了語料進一步加工、使用的環(huán)節(jié)。因此，應將分詞一致性作為衡量語料庫質量的重要標準之一。<

2、br>　　本文首先對深加工中古漢語語料庫作了簡單地介紹，然后具體針對中古漢語語料庫中存在的分詞一致性問題，通過程序統(tǒng)計出其中的分詞不一致字段，從語言學角度對其進行分類研究，并制定分詞標準，通過多種特征相結合的方法，來提高分詞結果的準確率及一致性。該方法通過統(tǒng)計中古語料庫不一致字段，結合其語境，找出中古漢語分詞不一致產(chǎn)生的特殊原因，并針對這些字段制定具體的分詞規(guī)范，然后用人工校對的方法逐一解決實驗語料中的分詞不一致問題?；贑RF分詞軟件

3、，引入多種分詞特征，尤其是詞典標記，實現(xiàn)多種特征相結合的分詞方法分別進行對比實驗，最終選定最有利的分詞特征及模板。實驗取得預期目標，封閉測試準確率達99％以上，開放測試準確率也均超過了90％，證明基于中古特定分詞規(guī)范、統(tǒng)計與詞典相結構的方法可以更好地解決分詞不一致問題，有效提高分詞準確率。主要工作如下:
　　1.抽取中古漢語語料庫中28萬余人工分詞語料，運用程序初步統(tǒng)計出其中可能存在分詞不一致的字段，在人工校對的基礎上，對這些字段

4、進行分類，找出真正分詞不一致（個例不一致）的組合及其語境信息，確定本文研究對象。
　　2.從語言學角度分析中古漢語分詞不一致出現(xiàn)的獨有原因，然后從結構角度對分詞不一致組合進行分類，揭示特定結構出現(xiàn)分詞不一致的狀況及原因，基于此建立中古漢語分詞規(guī)范。
　　3.依據(jù)規(guī)范整理28萬余人工分詞語料作為CRF訓練語料，來解決語料中存在的個例不一致問題，提高分詞準確率。在CRF分詞軟件中引入字符類型、聲韻調、部首、詞典詞標這四種特征，通

5、過實驗對比這幾個特征對分詞結果影響的權重;制定不同的分詞模板，在實驗統(tǒng)計的基礎上選擇分詞結果最好的模板，從而確定CRF分詞特征及模板。
　　4.基于整理好的訓練語料、實驗效果最好的分詞特征及模板進行CRF對比實驗，實驗結果達到預期目標，開放測試、封閉測試的準確率分別超過了99％和90％，并進一步分析實驗結果。
　　在統(tǒng)計分析數(shù)據(jù)的基礎上，本文詳盡研究了中古漢語分詞不一致字串，針對該字串制定了分詞規(guī)范，并提出了基于多特征的CR