基于實例的中文分詞系統(tǒng)設計與實現.pdf

1、詞語通常被認為是自然語言處理的最基本單位。不同于英語或者大部分的西方語言，在許多亞洲語言（如中文、日文、泰文）中，句子是由連續(xù)的字符串序列構成，詞語間沒有顯式的間隔符（如空格）。因此，中文分詞是中文自然語言處理必不可少的首要任務。所謂中文分詞，就是把連續(xù)的中文文本劃分為單詞、術語或者其它語言學單位的過程。只有這些基本的語言單位被正確地切分出來，才有可能進行后續(xù)的分析或者處理。
　　現有的中文分詞器已經達到很高的精確度。以SIGHA

2、N的PKU語料庫為例，F1測值已經超過95％。然而這些最好的分詞器大多依賴于龐大的訓練數據、復雜的統(tǒng)計模型或者特定的語言模型，往往無法應用于不同的語言。目前仍然沒有一種分詞算法可以有效地刻畫人類識別詞語邊界的能力。訓練語料庫是最好的分詞參考，如何盡可能地利用訓練語料庫，從中盡可能多地提取出有用的分詞信息是解決這個問題的關鍵。
　　論文提出一種全新的基于實例的中文分詞算法，在此基礎上設計并實現了基于實例的中文分詞系統(tǒng)。相比于已有分詞

3、算法，該算法直接利用訓練語料庫進行分詞。它不需要顯式的分詞詞典，不需要事先的訓練過程，也不依賴于任何語言知識，而是直接回到人類識別詞語的方式上，因此可以應用于不同語言。由于語料庫規(guī)模有限，不可避免存在數據稀疏問題，長句子容易丟失分詞結果。因此，該算法首先將待分詞句子劃分為若干個長度為N的子句，稱為N子句，然后對這些N子句進行兩個階段的處理：提出實例精確匹配方法在訓練語料庫直接找到N子句的分詞結果，對于找不到匹配的N子句提出比例類推的分詞