中文分詞技術(shù)在搜索引擎中的研究與應(yīng)用.pdf

1、中文分詞是計(jì)算機(jī)進(jìn)行漢語(yǔ)文本分析的關(guān)鍵技術(shù)，分詞算法的好壞直接影響中文分析系統(tǒng)的實(shí)用性，搜索引擎是中文分詞技術(shù)的重要應(yīng)用之一。如何用更短的時(shí)間得到更高的分詞精確度是目前的研究重點(diǎn)和熱點(diǎn)?；谧址ヅ涞姆衷~算法是當(dāng)前使用最為廣泛的中文分詞算法，而最大匹配算法是最常用的基于字符串匹配的分詞算法。本文通過(guò)分析最大匹配算法的不足，結(jié)合高效的雙字哈希詞典機(jī)制，提出基于雙字哈希詞長(zhǎng)分組詞典結(jié)構(gòu)的正向最大匹配改進(jìn)算法，分詞性能明顯提高；然后借用匹配

2、過(guò)程進(jìn)行歧義處理，減少錯(cuò)誤切分；之后使用改進(jìn)算法思想重新設(shè)計(jì)Lucene中的中文文本分析模塊，優(yōu)化搜索引擎系統(tǒng)。實(shí)驗(yàn)表明本文提出的基于雙字哈希詞長(zhǎng)分組詞典結(jié)構(gòu)的正向最大匹配改進(jìn)算法比最大匹配算法有較大性能提升。本文所做工作總結(jié)如下：
　　1.通過(guò)對(duì)最大匹配算法的研究，分析最大匹配算法存在的3個(gè)問(wèn)題，并針對(duì)每個(gè)問(wèn)題提出解決辦法。
　　2.根據(jù)最大匹配算法不足改進(jìn)算法流程，提高分詞性能，并針對(duì)改進(jìn)算法的需求設(shè)計(jì)雙字哈希詞長(zhǎng)分組的

3、詞典機(jī)制，提出基于雙字哈希詞長(zhǎng)分組詞典結(jié)構(gòu)的正向最大匹配改進(jìn)算法。該算法對(duì)于每一次匹配都能動(dòng)態(tài)選擇合適匹配初始位置和匹配長(zhǎng)度，并能快速的對(duì)詞典進(jìn)行查找，減少不必要的匹配消耗，無(wú)論從分詞速度還是精確度上都較傳統(tǒng)算法有了一定提升。
　　3.根據(jù)改進(jìn)算法的匹配過(guò)程，結(jié)合最大匹配算法+回退一字法算法思想，有效消除部分交集型歧義，使分詞結(jié)果更加準(zhǔn)確。
　　4.通過(guò)對(duì)搜索引擎知識(shí)和Lucene開(kāi)發(fā)包的學(xué)習(xí)，基于Lucene搭建簡(jiǎn)單的搜索