搜索引擎中中文分詞與糾錯模塊的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，各種應(yīng)用服務(wù)層出不窮，搜索引擎是其中最流行的一種服務(wù)，僅次子電子郵件。伴隨著搜索引擎的普及，越來越多的人通過使用搜索引擎，獲取日常工作和生活中需要的信息。 搜索引擎涉及多種技術(shù)，其中，自然語言處理技術(shù)是其中重要的一種，它可以幫助搜索引擎提高查詢準確度，并豐富搜索引擎的特色功能。中文分詞技術(shù)與中文糾錯技術(shù)是自然語言處理技術(shù)的兩個分支，可應(yīng)用在搜索引擎的分析系統(tǒng)與檢索系統(tǒng)中，對于提高用戶檢索效率和檢索結(jié)果準確度

2、具有十分重要的意義。 論文選題來源于一個提供旅游信息搜索的搜索引擎系統(tǒng)。文中對中文分詞技術(shù)和中文查詢詞糾錯技術(shù)進行了研究，并從軟件工程的角度出發(fā)，設(shè)計與實現(xiàn)了系統(tǒng)的中文分詞模塊與糾錯模塊。具體的工作包括： （1）對一種基于規(guī)則的分詞算法進行了改進，使用雙hash詞典結(jié)構(gòu)降低了算法正向、反向最大匹配時的匹配次數(shù)；使用正反最大匹配切分策略取代逐詞切分策略，降低了算法切分字符串的次數(shù)，提高了算法的分詞效率。 （2）通過

3、相關(guān)算法研究提出并實現(xiàn)了一種基于拼音hash詞典的同音別字詞糾錯算法，應(yīng)用于搜索引擎系統(tǒng)中，用于同音別字詞的糾錯。 （3）改進了雙字驅(qū)動詞典的結(jié)構(gòu)，并結(jié)合新的字符串模糊匹配算法對漏字多字查詢詞進行糾錯，增強了系統(tǒng)對漏字多字查詢詞的糾錯能力。 （4）將詞典技術(shù)與Ajax技術(shù)相結(jié)合，實現(xiàn)了查詢詞智能提示功能。 （5）采用N-gram切分的新詞識別算法，用于發(fā)現(xiàn)未登錄詞，實現(xiàn)分詞詞庫的動態(tài)更新，提高了中文分詞模塊的分詞