搜索引擎中文分詞技術(shù)研究.pdf

1、中文分詞不僅是各種中文信息處理技術(shù)中使用最廣泛的手段，也是信息檢索和搜索引擎必不可少的基礎(chǔ)性工作?，F(xiàn)有的中文分詞方法有很多，它們以字符串匹配、統(tǒng)計模型、理解、路徑以及語義等為基礎(chǔ)，并輔以分詞詞典和規(guī)則庫，能夠在一定程度上對中文信息進行切分。但由于漢語本身的特殊性和復(fù)雜性，目前的中文分詞技術(shù)普遍存在歧義詞處理和未登錄詞(新詞)識別兩個難點。因此，一個好的中文分詞方法不僅需要具備高效的分詞算法和詞典機制，而且要準確識別歧義詞和未登錄詞。論文

2、對搜索引擎的中文分詞技術(shù)進行研究，具有一定的理論價值和實際意義。
　　 論文在分析研究現(xiàn)有中文分詞算法、詞典機制以及歧義詞和未登錄詞處理策略的基礎(chǔ)上，提出了一種改進的中文分詞方法，該方法以人工切分和標注好的《人民日報》語料庫和專門的人名地名語料庫為基礎(chǔ)，對中文信息進行處理。一方面，論文針對現(xiàn)有中文分詞算法和詞典機制存在的不足，提出了基于最大逆向匹配的概率分詞算法和基于有限自動機的中文分詞詞典機制，力求在完成分詞功能的同時降低算法

3、的時間和空間復(fù)雜度；另一方面，對于目前普遍存在的歧義詞和未登錄詞識別兩個難點，論文首先通過最大正向匹配、最大逆向匹配以及基于最大逆向匹配的概率分詞算法提取分詞碎片，然后結(jié)合構(gòu)詞規(guī)則和特定的人名地名語料庫進行糾錯處理，以進一步提高分詞準確率。
　　 以改進的分詞方法為基礎(chǔ)，論文設(shè)計實現(xiàn)了一個中文分詞原型系統(tǒng)，該系統(tǒng)包括提取文本、訓(xùn)練語料庫、分詞處理、性能測試四個部分。同時，利用人工切分和標注好的《人民日報》語料庫對原型系統(tǒng)的分詞速