基于實例的中文分詞系統(tǒng)設(shè)計與實現(xiàn).pdf

1、詞語通常被認(rèn)為是自然語言處理的最基本單位。不同于英語或者大部分的西方語言，在許多亞洲語言（如中文、日文、泰文）中，句子是由連續(xù)的字符串序列構(gòu)成，詞語間沒有顯式的間隔符（如空格）。因此，中文分詞是中文自然語言處理必不可少的首要任務(wù)。所謂中文分詞，就是把連續(xù)的中文文本劃分為單詞、術(shù)語或者其它語言學(xué)單位的過程。只有這些基本的語言單位被正確地切分出來，才有可能進(jìn)行后續(xù)的分析或者處理。
　　現(xiàn)有的中文分詞器已經(jīng)達(dá)到很高的精確度。以SIGHA

2、N的PKU語料庫為例，F(xiàn)1測值已經(jīng)超過95％。然而這些最好的分詞器大多依賴于龐大的訓(xùn)練數(shù)據(jù)、復(fù)雜的統(tǒng)計模型或者特定的語言模型，往往無法應(yīng)用于不同的語言。目前仍然沒有一種分詞算法可以有效地刻畫人類識別詞語邊界的能力。訓(xùn)練語料庫是最好的分詞參考，如何盡可能地利用訓(xùn)練語料庫，從中盡可能多地提取出有用的分詞信息是解決這個問題的關(guān)鍵。
　　論文提出一種全新的基于實例的中文分詞算法，在此基礎(chǔ)上設(shè)計并實現(xiàn)了基于實例的中文分詞系統(tǒng)。相比于已有分詞

3、算法，該算法直接利用訓(xùn)練語料庫進(jìn)行分詞。它不需要顯式的分詞詞典，不需要事先的訓(xùn)練過程，也不依賴于任何語言知識，而是直接回到人類識別詞語的方式上，因此可以應(yīng)用于不同語言。由于語料庫規(guī)模有限，不可避免存在數(shù)據(jù)稀疏問題，長句子容易丟失分詞結(jié)果。因此，該算法首先將待分詞句子劃分為若干個長度為N的子句，稱為N子句，然后對這些N子句進(jìn)行兩個階段的處理：提出實例精確匹配方法在訓(xùn)練語料庫直接找到N子句的分詞結(jié)果，對于找不到匹配的N子句提出比例類推的分詞