中文分詞技術在搜索引擎中的研究與應用.pdf

1、中文分詞是計算機進行漢語文本分析的關鍵技術，分詞算法的好壞直接影響中文分析系統(tǒng)的實用性，搜索引擎是中文分詞技術的重要應用之一。如何用更短的時間得到更高的分詞精確度是目前的研究重點和熱點?；谧址ヅ涞姆衷~算法是當前使用最為廣泛的中文分詞算法，而最大匹配算法是最常用的基于字符串匹配的分詞算法。本文通過分析最大匹配算法的不足，結合高效的雙字哈希詞典機制，提出基于雙字哈希詞長分組詞典結構的正向最大匹配改進算法，分詞性能明顯提高；然后借用匹配

2、過程進行歧義處理，減少錯誤切分；之后使用改進算法思想重新設計Lucene中的中文文本分析模塊，優(yōu)化搜索引擎系統(tǒng)。實驗表明本文提出的基于雙字哈希詞長分組詞典結構的正向最大匹配改進算法比最大匹配算法有較大性能提升。本文所做工作總結如下：
　　1.通過對最大匹配算法的研究，分析最大匹配算法存在的3個問題，并針對每個問題提出解決辦法。
　　2.根據(jù)最大匹配算法不足改進算法流程，提高分詞性能，并針對改進算法的需求設計雙字哈希詞長分組的

3、詞典機制，提出基于雙字哈希詞長分組詞典結構的正向最大匹配改進算法。該算法對于每一次匹配都能動態(tài)選擇合適匹配初始位置和匹配長度，并能快速的對詞典進行查找，減少不必要的匹配消耗，無論從分詞速度還是精確度上都較傳統(tǒng)算法有了一定提升。
　　3.根據(jù)改進算法的匹配過程，結合最大匹配算法+回退一字法算法思想，有效消除部分交集型歧義，使分詞結果更加準確。
　　4.通過對搜索引擎知識和Lucene開發(fā)包的學習，基于Lucene搭建簡單的搜索