適用于化工專業(yè)搜索引擎的中文分詞系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、中文分詞技術(shù)屬于自然語言處理技術(shù)范疇，它是中文信息處理中的一個(gè)重要環(huán)節(jié)，是中文語言理解、文獻(xiàn)檢索、機(jī)械翻譯以及語言合成系統(tǒng)中最基本的一部分。對(duì)于中文搜索引擎而言，中文分詞作為其核心技術(shù)之一，重要性不言而喻。同樣，對(duì)于專業(yè)化的搜索引擎而言，針對(duì)專業(yè)詞匯進(jìn)行的分詞優(yōu)化尤其重要。 本文在對(duì)現(xiàn)有中文分詞技術(shù)研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一種應(yīng)用于化工領(lǐng)域?qū)I(yè)搜索引擎的中文分詞系統(tǒng)，為實(shí)現(xiàn)互聯(lián)網(wǎng)上化工類信息的快速準(zhǔn)確獲取提供了基礎(chǔ)。

2、本文分別對(duì)中文分詞系統(tǒng)的外部接口、系統(tǒng)界面、分詞器進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)，重點(diǎn)介紹了分詞器的實(shí)現(xiàn)：分別介紹了包含大量化工詞匯的分詞詞典的物理結(jié)構(gòu)及其邏輯結(jié)構(gòu)的設(shè)計(jì)和實(shí)現(xiàn)，分詞算法對(duì)待切分文本的預(yù)處理，首字哈希結(jié)合二分查找的詞典優(yōu)化查詢，以及結(jié)合路徑選擇機(jī)制而改進(jìn)了的層進(jìn)式最短路徑切詞算法；經(jīng)過對(duì)分詞系統(tǒng)分詞速度與精度的實(shí)驗(yàn)分析，實(shí)驗(yàn)結(jié)果顯示，在保證切分效率的同時(shí)，在一定程度上達(dá)到了消除歧義的效果。經(jīng)實(shí)踐證明，本分詞系統(tǒng)達(dá)到了設(shè)計(jì)目標(biāo)，可以為化