基于帶詞長(zhǎng)的詞典機(jī)制和規(guī)則判定的歧義消解算法的中文分詞技術(shù)的研究.pdf

1、隨著計(jì)算機(jī)軟件和硬件以及計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展，人們已經(jīng)進(jìn)入信息時(shí)代。在這個(gè)信息社會(huì)里，信息的重要性與日俱增，無(wú)論是個(gè)人、公司、乃至政府都需要獲取和掌握大量有用的信息。在這種環(huán)境下，中文信息處理技術(shù)逐漸成為一項(xiàng)需要重點(diǎn)研究的技術(shù)，而其中最為重要的就是中文分詞技術(shù)。中文與英文不同，中文文本是一個(gè)連續(xù)的字符串，除了標(biāo)點(diǎn)符號(hào)之外，詞與詞之間并沒(méi)有明顯的切分標(biāo)志，也就是語(yǔ)言文字的書寫方法沒(méi)有詞界，因而中文信息處理的首要問(wèn)題是詞的切分問(wèn)題。

2、　　本文在研究了中文分詞各種算法和技術(shù)的基礎(chǔ)上，提出了一種帶詞長(zhǎng)的哈希詞典機(jī)制有效的提高了長(zhǎng)詞的匹配效率，并提出一種基于動(dòng)詞判定算法和優(yōu)先級(jí)判定算法的歧義消解機(jī)制，有效地提高了歧義消解的精確性。以下是本文具體的研究?jī)?nèi)容:
　　(1)研究了中文分詞的研究背景和研究意義;中文分詞的相關(guān)技術(shù)以及現(xiàn)有的幾種主流的中文分詞算法?，F(xiàn)有的中文分詞算法主要有:基于詞典的分詞算法，基于統(tǒng)計(jì)的分詞算法，基于規(guī)則的分詞算法和基于理解的分詞算法等。在主流

3、的分詞系統(tǒng)中主要用到的是基于詞典的分詞算法。
　　(2)研究了現(xiàn)有的幾種詞典機(jī)制:基于整詞二分的詞典機(jī)制、基于TRIE樹的分詞詞典機(jī)制、基于逐字二分的分詞詞典機(jī)制和基于哈希的分詞詞典機(jī)制。綜合存儲(chǔ)空間和查找時(shí)間上兩方面的考慮，進(jìn)行了以上幾種詞典機(jī)制的比較，本文采用基于哈希的分詞詞典機(jī)制。針對(duì)長(zhǎng)詞匹配效率不高的問(wèn)題，本文提出了一種帶詞長(zhǎng)的哈希詞典機(jī)制。
　　(3)研究了中文分詞主要面臨的問(wèn)題:歧義問(wèn)題。歧義包括:交集型歧義、組

4、合型歧義和真歧義。本文詳細(xì)介紹了這三種歧義。并介紹了主要的三種歧義采集算法:雙向最大掃描法、逐詞掃描的最大匹配法、最長(zhǎng)詞次長(zhǎng)詞發(fā)現(xiàn)算法。本文采用雙向最大掃描的歧義采集方法。歧義采集后，本文改進(jìn)了退一字組合算法，加入了動(dòng)詞判定算法和優(yōu)先級(jí)判定算法來(lái)進(jìn)行歧義的消解，在一定程度上提高了歧義消解的精確性。
　　(4)采用VC++6.0集成開發(fā)工具，利用本文所提出的算法設(shè)計(jì)并實(shí)現(xiàn)了中文分詞系統(tǒng)，并描述了系統(tǒng)的體系結(jié)構(gòu)和系統(tǒng)中各模塊的工作原理