中文語料庫分詞不一致現象的分層校驗.pdf

1、在中文信息語言處理領域里，以大規(guī)模真實文本為基礎的語料庫研究和知識自動獲取越來越受到重視，建設大規(guī)模高質量的語料庫成為首要的任務。然而由于現階段語料庫的建立，需要人工來校驗，不可避免的會有一定的疏忽和錯誤，導致了對同一字段在相同的語言環(huán)境下的切分結果不一致。這些不一致現象不僅影響了語料庫分詞的正確率，而且將錯誤帶到了利用語料庫資源進行加工的下一步驟。因此，對語料庫加工時，必須對其進行一致性的檢查和校正，保證語料庫加工的質量。因此，應將分

2、詞后的語料庫是否具有一致性作為衡量語料庫質量的重要標準。
　　本文針對大規(guī)模語料庫分詞一致性存在的問題，通過研究山大和微軟語料庫中所出現的不一致字段，提出分詞不一致逐層解決的方法，先對語料使用規(guī)則的處理策略，然后針對規(guī)則處理的缺點使用統(tǒng)計模型進行校驗。該方法通過研究語料庫不一致字段及其上下文環(huán)境，應用規(guī)則和統(tǒng)計模型的方法對不一致字段進行自動校對，實驗取得預期的目標，證明兩者相結合的方法可以更好的解決分詞一致性這個問題。
　　

3、主要工作如下:
　　1.對400萬熟語料進行了統(tǒng)計分析，總結了語料庫中分詞結果不一致的主要結構類型，確定論文的研究對象，將影響分詞正確率的主要因素作為規(guī)則庫建立的根據;
　　2.研究利用規(guī)則和實例來解決分詞一致性問題，提取出初始規(guī)則庫及大量實例，并將獲取的規(guī)則和實例應用于分詞結果校對中。最后通過對規(guī)則庫進行自學習來提高語料的分詞質量;
　　3.提出統(tǒng)計的方法，將提取出的不一致字段及其上下文信息使用向量空間模型表示，并使

4、用相似度計算等方法獲得不一致字串的概率分布，在計算相似度時引入同義詞詞林。最后通過定量的方法對不一致字串進行分類。
　　4.基于以上的思想和方法，分別對基于規(guī)則、基于統(tǒng)計以及將兩種方法相結合的方法設計實驗模型，對模型進行了實驗后，詳細分析了實驗結果。
　　在統(tǒng)計與分析數據的基礎上，對具有不同特征的不一致字串提出了多種處理方法，層層遞進的處理策略，取得較好的分類效果。對一個語料庫中發(fā)生了切分不一致的字串進行分類處理，把相同結構