搜索引擎中文分詞技術(shù)研究.pdf

1、中文分詞不僅是各種中文信息處理技術(shù)中使用最廣泛的手段，也是信息檢索和搜索引擎必不可少的基礎(chǔ)性工作。現(xiàn)有的中文分詞方法有很多，它們以字符串匹配、統(tǒng)計(jì)模型、理解、路徑以及語義等為基礎(chǔ)，并輔以分詞詞典和規(guī)則庫，能夠在一定程度上對中文信息進(jìn)行切分。但由于漢語本身的特殊性和復(fù)雜性，目前的中文分詞技術(shù)普遍存在歧義詞處理和未登錄詞(新詞)識別兩個難點(diǎn)。因此，一個好的中文分詞方法不僅需要具備高效的分詞算法和詞典機(jī)制，而且要準(zhǔn)確識別歧義詞和未登錄詞。論文

2、對搜索引擎的中文分詞技術(shù)進(jìn)行研究，具有一定的理論價值和實(shí)際意義。
　　 論文在分析研究現(xiàn)有中文分詞算法、詞典機(jī)制以及歧義詞和未登錄詞處理策略的基礎(chǔ)上，提出了一種改進(jìn)的中文分詞方法，該方法以人工切分和標(biāo)注好的《人民日報(bào)》語料庫和專門的人名地名語料庫為基礎(chǔ)，對中文信息進(jìn)行處理。一方面，論文針對現(xiàn)有中文分詞算法和詞典機(jī)制存在的不足，提出了基于最大逆向匹配的概率分詞算法和基于有限自動機(jī)的中文分詞詞典機(jī)制，力求在完成分詞功能的同時降低算法

3、的時間和空間復(fù)雜度；另一方面，對于目前普遍存在的歧義詞和未登錄詞識別兩個難點(diǎn)，論文首先通過最大正向匹配、最大逆向匹配以及基于最大逆向匹配的概率分詞算法提取分詞碎片，然后結(jié)合構(gòu)詞規(guī)則和特定的人名地名語料庫進(jìn)行糾錯處理，以進(jìn)一步提高分詞準(zhǔn)確率。
　　 以改進(jìn)的分詞方法為基礎(chǔ)，論文設(shè)計(jì)實(shí)現(xiàn)了一個中文分詞原型系統(tǒng)，該系統(tǒng)包括提取文本、訓(xùn)練語料庫、分詞處理、性能測試四個部分。同時，利用人工切分和標(biāo)注好的《人民日報(bào)》語料庫對原型系統(tǒng)的分詞速