分詞詞典的構(gòu)建.pdf

1、隨著網(wǎng)上數(shù)字化信息資源的不斷增長(zhǎng)，怎么樣自動(dòng)處理這些信息已成為目前一個(gè)重要的研究課題，漢語(yǔ)自動(dòng)分詞在中文海量信息處理中起著非常重要的作用。由于漢字之間沒(méi)有明顯的分詞標(biāo)志，如果簡(jiǎn)單地以單個(gè)漢字作為信息處理的基本單元，既缺乏必要的語(yǔ)義表達(dá)，又帶來(lái)大量的冗余信息，因而分詞算法在中文信息處理的各個(gè)領(lǐng)域被廣泛應(yīng)用?，F(xiàn)有的漢語(yǔ)自動(dòng)分詞系統(tǒng)大都是先基于詞典進(jìn)行匹配分詞，再利用句法語(yǔ)義關(guān)系和統(tǒng)計(jì)方法進(jìn)行歧義處理和未登錄詞處理。分詞詞典機(jī)制的優(yōu)劣直接影響

2、到分詞系統(tǒng)的速度和效率，因而建立高效快速的分詞詞典機(jī)制勢(shì)在必行。
　　 常用的分詞詞典機(jī)制有：基于逐字二分的詞典機(jī)制、整詞二分的詞典機(jī)制和基于TRIE索引樹(shù)的詞典機(jī)制。在對(duì)前面分詞詞典機(jī)制的分析中，前面的三種詞典都是以首字建立索引表，通過(guò)統(tǒng)計(jì)，我們知道在漢語(yǔ)中，二字詞和一字詞的出現(xiàn)概率遠(yuǎn)遠(yuǎn)大于其它字長(zhǎng)的詞，依據(jù)這一現(xiàn)象，我們提出了以詞的前兩字為關(guān)鍵字建立索引表的想法。該索引表是一個(gè)二維數(shù)組，該算法是通過(guò)將前兩字的漢字內(nèi)碼與數(shù)組下