化工專(zhuān)業(yè)詞典結(jié)構(gòu)設(shè)計(jì)及中文分詞系統(tǒng)的開(kāi)發(fā).pdf

1、中文分詞是中文信息處理的重要的基礎(chǔ)工作，是語(yǔ)義理解的最初環(huán)節(jié)，中文分詞的準(zhǔn)確與否直接影響后期語(yǔ)義分析的質(zhì)量。對(duì)于搜索引擎而言，中文分詞技術(shù)直接影響搜索結(jié)果，它是搜索引擎的核心技術(shù)之一。
　　 本文在研究現(xiàn)有中文分詞技術(shù)的基礎(chǔ)上，為了使中文分詞技術(shù)適用于化工專(zhuān)業(yè)搜索引擎，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)專(zhuān)門(mén)針對(duì)專(zhuān)業(yè)化工詞匯的中文分詞系統(tǒng)，為化工專(zhuān)業(yè)領(lǐng)域的人士快速準(zhǔn)確地獲取信息提供幫助。
　　 本文設(shè)計(jì)和實(shí)現(xiàn)了系統(tǒng)界面和分詞器，主要介紹了分

2、詞器的實(shí)現(xiàn)，包括分詞詞典機(jī)制和分詞算法。分詞詞典機(jī)制主要涉及詞典的物理結(jié)構(gòu)和邏輯結(jié)構(gòu)，采用基于字符串匹配的分詞方法，結(jié)合化工專(zhuān)業(yè)詞匯的構(gòu)詞特點(diǎn)，提出一種基于TRIE索引樹(shù)的改進(jìn)結(jié)構(gòu)，以達(dá)到提高分詞結(jié)果準(zhǔn)確率的目的。首字散列表由漢字內(nèi)碼哈希得到首字的位置，沿著指針可查詢(xún)其他字；分詞算法是根據(jù)索引樹(shù)的結(jié)構(gòu)設(shè)計(jì)的搜索查詢(xún)算法，沿著指針鏈搜索匹配字符。由詞典建立和文件掃描方向的不同，可以進(jìn)行正向匹配和逆向匹配驗(yàn)證分詞結(jié)果。通過(guò)對(duì)系統(tǒng)進(jìn)行的分詞速