中文詞性標注中異構(gòu)數(shù)據(jù)問題研究.pdf

1、本文主要研究中文詞性標注中異構(gòu)數(shù)據(jù)問題。中文分詞和詞性標注是中文自然語言處理的基礎任務，句法分析和語義分析建立在這些基礎任務之上，大量的系統(tǒng)也依賴于這些基礎任務的效果，比如對話系統(tǒng)和檢索系統(tǒng)中會用到分詞算法，信息抽取、關鍵詞提取等算法常利用詞性標注的結(jié)果。隨著研究人員的增加、工業(yè)界的發(fā)展以及互聯(lián)網(wǎng)的普及，出現(xiàn)了大量的異構(gòu)數(shù)據(jù)和語料。本文主要從兩個方面研究這些異構(gòu)數(shù)據(jù):目標數(shù)據(jù)的異構(gòu)問題和訓練語料數(shù)據(jù)的異構(gòu)問題。
　　目標數(shù)據(jù)的異構(gòu)

2、問題在詞性標注任務中的主要體現(xiàn)在于標注對象是異構(gòu)的。現(xiàn)今，互聯(lián)網(wǎng)絡的流行、各國文化的融合等因素使得中文文章和對話中常常摻有少量的外文比如英文單詞，尤其在電子郵件和互聯(lián)網(wǎng)的博客與社交網(wǎng)絡中。因此，分析研究中英文混合文本就成為了一個重要且富有挑戰(zhàn)的工作。本文研究了對中英文混合文本這樣的異構(gòu)數(shù)據(jù)進行詞性標注的方法。因為缺少標注好的標準人工語料，大部分詞性標注方法都將英文等外文簡單的標注為“外文”，這樣不利于后續(xù)的句法和語義的分析。所以本文提供

3、了一個基于動態(tài)特征的詞性標注方法，它能更好的利用詞級別的特征，增強中英文混合文本的標注效果。本文使用人工合成數(shù)據(jù)的方法解決了缺少混合文本人工標注語料的問題，合成數(shù)據(jù)時使用的“統(tǒng)一標簽”也能減少未登錄詞對于算法的影響。實驗表明本文的方法在中英文混合文本上相比傳統(tǒng)的序列標注方法取得了更好的準確率，即使在純中文文本上也取得了一定的提高。
　　訓練數(shù)據(jù)的異構(gòu)問題主要體現(xiàn)在如何更好的利用現(xiàn)有的大量異構(gòu)語料提升詞性標注算法的效果。如今，越來越

4、多的研究人員被中文分詞和詞性標注中異構(gòu)人工標注語料集的相關問題所吸引。本文提出了一個基于異構(gòu)人工標注數(shù)據(jù)集的中文分詞和詞性標注的統(tǒng)一模型。我們首先在兩個異構(gòu)人工標注數(shù)據(jù)集CTB（Penn中文樹庫）和PPD（北大人民日報語料）間自動建立一個松散的不確定的映射，然后將異構(gòu)語料上的中文分詞和詞性標注作為兩個相互關聯(lián)的任務，在兩個異構(gòu)語料上同步訓練我們的模型。實驗證明本文的方法利用兩個異構(gòu)語料間的共通的信息，可以同時增強在兩種異構(gòu)語料上的分詞和