中文分詞系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、中文分詞是機(jī)器學(xué)習(xí)，自然語(yǔ)言處理中的一個(gè)基礎(chǔ)部分，中文分詞處理要對(duì)輸入的中文語(yǔ)句在字、詞、句三個(gè)層面上進(jìn)行處理。在中文中，詞是最小的語(yǔ)言單位，只有處理好中文分詞的問題，才能更好地進(jìn)一步處理中文語(yǔ)句，所以中文分詞是中文處理技術(shù)的基礎(chǔ)。相對(duì)于英文，中文分詞是一個(gè)相對(duì)復(fù)雜的問題。由于英文中詞與詞之間是用空格隔開，檢索方便，也就不存在分詞的問題。而中文語(yǔ)句沒有分隔符，因此想進(jìn)行中文處理，就需要專門的技術(shù)，這種技術(shù)也就是中文分詞。
　　

2、隨著自然語(yǔ)言處理的發(fā)展，中文分詞技術(shù)也得到了很大的進(jìn)步。出現(xiàn)了眾多的算法。根據(jù)它們的特點(diǎn)，可以將現(xiàn)有的分詞算法分為四大類：基于字符串匹配的分詞方法、基于理解的分詞方法、基于統(tǒng)計(jì)的分詞方法和基于語(yǔ)義的分詞方法。因?yàn)槊糠N方法都有各自的優(yōu)點(diǎn)和劣勢(shì)，所以目前單一使用一種方法并不能達(dá)到讓人滿意的效果，而將其中的兩三種方法結(jié)合起來(lái)，優(yōu)勢(shì)互補(bǔ)，相對(duì)來(lái)講會(huì)得到更好的分詞結(jié)果。
　　 本文在總結(jié)前人工作基礎(chǔ)上，完成并實(shí)現(xiàn)了一個(gè)中文分詞系統(tǒng)，中文粗