中文語(yǔ)料庫(kù)分詞不一致現(xiàn)象的分層校驗(yàn).pdf

1、在中文信息語(yǔ)言處理領(lǐng)域里，以大規(guī)模真實(shí)文本為基礎(chǔ)的語(yǔ)料庫(kù)研究和知識(shí)自動(dòng)獲取越來越受到重視，建設(shè)大規(guī)模高質(zhì)量的語(yǔ)料庫(kù)成為首要的任務(wù)。然而由于現(xiàn)階段語(yǔ)料庫(kù)的建立，需要人工來校驗(yàn)，不可避免的會(huì)有一定的疏忽和錯(cuò)誤，導(dǎo)致了對(duì)同一字段在相同的語(yǔ)言環(huán)境下的切分結(jié)果不一致。這些不一致現(xiàn)象不僅影響了語(yǔ)料庫(kù)分詞的正確率，而且將錯(cuò)誤帶到了利用語(yǔ)料庫(kù)資源進(jìn)行加工的下一步驟。因此，對(duì)語(yǔ)料庫(kù)加工時(shí)，必須對(duì)其進(jìn)行一致性的檢查和校正，保證語(yǔ)料庫(kù)加工的質(zhì)量。因此，應(yīng)將分

2、詞后的語(yǔ)料庫(kù)是否具有一致性作為衡量語(yǔ)料庫(kù)質(zhì)量的重要標(biāo)準(zhǔn)。
　　本文針對(duì)大規(guī)模語(yǔ)料庫(kù)分詞一致性存在的問題，通過研究山大和微軟語(yǔ)料庫(kù)中所出現(xiàn)的不一致字段，提出分詞不一致逐層解決的方法，先對(duì)語(yǔ)料使用規(guī)則的處理策略，然后針對(duì)規(guī)則處理的缺點(diǎn)使用統(tǒng)計(jì)模型進(jìn)行校驗(yàn)。該方法通過研究語(yǔ)料庫(kù)不一致字段及其上下文環(huán)境，應(yīng)用規(guī)則和統(tǒng)計(jì)模型的方法對(duì)不一致字段進(jìn)行自動(dòng)校對(duì)，實(shí)驗(yàn)取得預(yù)期的目標(biāo)，證明兩者相結(jié)合的方法可以更好的解決分詞一致性這個(gè)問題。
　　

3、主要工作如下:
　　1.對(duì)400萬熟語(yǔ)料進(jìn)行了統(tǒng)計(jì)分析，總結(jié)了語(yǔ)料庫(kù)中分詞結(jié)果不一致的主要結(jié)構(gòu)類型，確定論文的研究對(duì)象，將影響分詞正確率的主要因素作為規(guī)則庫(kù)建立的根據(jù);
　　2.研究利用規(guī)則和實(shí)例來解決分詞一致性問題，提取出初始規(guī)則庫(kù)及大量實(shí)例，并將獲取的規(guī)則和實(shí)例應(yīng)用于分詞結(jié)果校對(duì)中。最后通過對(duì)規(guī)則庫(kù)進(jìn)行自學(xué)習(xí)來提高語(yǔ)料的分詞質(zhì)量;
　　3.提出統(tǒng)計(jì)的方法，將提取出的不一致字段及其上下文信息使用向量空間模型表示，并使

4、用相似度計(jì)算等方法獲得不一致字串的概率分布，在計(jì)算相似度時(shí)引入同義詞詞林。最后通過定量的方法對(duì)不一致字串進(jìn)行分類。
　　4.基于以上的思想和方法，分別對(duì)基于規(guī)則、基于統(tǒng)計(jì)以及將兩種方法相結(jié)合的方法設(shè)計(jì)實(shí)驗(yàn)?zāi)Ｐ停瑢?duì)模型進(jìn)行了實(shí)驗(yàn)后，詳細(xì)分析了實(shí)驗(yàn)結(jié)果。
　　在統(tǒng)計(jì)與分析數(shù)據(jù)的基礎(chǔ)上，對(duì)具有不同特征的不一致字串提出了多種處理方法，層層遞進(jìn)的處理策略，取得較好的分類效果。對(duì)一個(gè)語(yǔ)料庫(kù)中發(fā)生了切分不一致的字串進(jìn)行分類處理，把相同結(jié)構(gòu)