中文文本姓名識別的研究.pdf

1、中文分詞是中文信息處理中的一個(gè)基礎(chǔ)部分，中文信息處理要從三個(gè)層面上對中文進(jìn)行處理：字、詞、句。在漢語中，詞是最小的語言單位，只有處理好詞層面的問題，才能更好地處理句層面的問題，詞層面的研究是句層面的基礎(chǔ)。詞層面的問題最重要的就是中文分詞問題，對于英文，由于英文中詞與詞之間是用空格隔開，檢索起來很方便，相對來講，中文的詞與詞之間是沒有分隔符的，因此若想建立基于詞的索引，就需要專門的技術(shù)，這種技術(shù)也就是中文分詞。 隨著中文信息處理的

2、發(fā)展，中文分詞也得到了很大的發(fā)展。出現(xiàn)了眾多的算法。根據(jù)它們的特點(diǎn)，可以將現(xiàn)有的分詞算法分為四大類：基于字符串匹配的分詞方法、基于理解的分詞方法、基于統(tǒng)計(jì)的分詞方法和基于語義的分詞方法。因?yàn)槊糠N方法都有各自的優(yōu)點(diǎn)和劣勢，所以目前單一使用一種方法并不能達(dá)到讓人滿意的效果，而將其中的兩三種方法結(jié)合起來，優(yōu)勢互補(bǔ)，相對來講會得到更好的分詞結(jié)果。 對于中文分詞，未登錄詞識別錯(cuò)誤尤其是專有名詞識別錯(cuò)誤是導(dǎo)致自動分詞錯(cuò)誤的主要原因之一。對所