組合型中文分詞方法的研究.pdf

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展，人們已經(jīng)進(jìn)入了以網(wǎng)絡(luò)為核心的信息時(shí)代，在這個(gè)信息急劇膨脹的社會(huì)里，如何獲取和掌握有用的信息成為了個(gè)人、企業(yè)及政府關(guān)注的重點(diǎn)。在這種環(huán)境下，中文信息處理技術(shù)成為了科研人員研究和開(kāi)發(fā)的熱點(diǎn)，其中最重要的就是中文分詞技術(shù)。中文分詞是將沒(méi)有特定分界符的漢字序列分割成符合特定語(yǔ)境下漢語(yǔ)語(yǔ)意的詞序列的過(guò)程，它是中文信息處理的前提和基礎(chǔ)，也是制約著中文信息處理技術(shù)發(fā)展的瓶頸。
　　歧義的消除和未登錄詞的識(shí)別是中文分詞技術(shù)的

2、難點(diǎn)，也是影響中文分詞切分速度和精度的重要因素。近年來(lái)，為了提高切分速度和精度，已經(jīng)出現(xiàn)了很多中文分詞的方法，這些方法的改進(jìn)主要表現(xiàn)在兩個(gè)方面:對(duì)分詞詞典的改進(jìn)，這種改進(jìn)主要通過(guò)減少待切分文本與詞典的匹配次數(shù)來(lái)提高分詞的速度;對(duì)分詞算法的改進(jìn)，此類型的改進(jìn)主要是通過(guò)對(duì)自身算法的改進(jìn)來(lái)提高分詞系統(tǒng)的歧義處理和未登錄詞識(shí)別的能力。本文結(jié)合這兩種改進(jìn)方式，根據(jù)當(dāng)前關(guān)鍵技術(shù)研究現(xiàn)狀設(shè)計(jì)了一個(gè)綜合詞典、統(tǒng)計(jì)和規(guī)則的組合型中文分詞方法，該方法兼有對(duì)

3、歧義的檢測(cè)與處理和對(duì)未登錄詞的識(shí)別能力。
　　本文對(duì)中文分詞的詞典機(jī)制和分詞算法進(jìn)行了詳細(xì)研究，提出了一個(gè)中文分詞的解決方案，該方案主要進(jìn)行了如下三個(gè)方面的工作:第一，對(duì)分詞詞典機(jī)制的改進(jìn)，改進(jìn)后的詞典針對(duì)中文信息中二字詞所占比例多和漢語(yǔ)中心語(yǔ)偏后的特點(diǎn)，采用雙字哈希表的結(jié)構(gòu)（首字哈希表和尾字哈希表），在不提升已有典型詞典的空間和維護(hù)復(fù)雜度的前提下，實(shí)現(xiàn)了詞條的快速匹配。第二，歧義的檢測(cè)與處理，現(xiàn)階段歧義的識(shí)別大多是利用雙向最大匹

4、配算法，由于雙向匹配算法匹配次數(shù)較多，出現(xiàn)了回溯正向最大匹配算法，該算法采用回溯詞向后推進(jìn)一個(gè)漢字的方式來(lái)檢測(cè)鏈長(zhǎng)為1詞簇為2的交集型歧義，減少了歧義檢測(cè)時(shí)與詞典的匹配次數(shù)，但該方法存在兩點(diǎn)缺陷，一是它只能檢測(cè)鏈長(zhǎng)為1詞簇為2的交集型歧義，不能識(shí)別鏈長(zhǎng)為1的其他類型歧義和鏈長(zhǎng)為2的交集型歧義，其歧義識(shí)別能力有限;另一個(gè)是對(duì)未發(fā)生交集型歧義的字段也進(jìn)行碎片整理，造成了重復(fù)匹配問(wèn)題。本文針對(duì)這兩點(diǎn)缺陷在該算法的基礎(chǔ)上增加了一個(gè)鏈長(zhǎng)為1詞簇為

5、3的交集型歧義檢測(cè)模塊，增加之后的算法不僅能識(shí)別鏈長(zhǎng)為1的交集型歧義，還能識(shí)別鏈長(zhǎng)為2的交集型歧義，同時(shí)利用計(jì)數(shù)方式，對(duì)連續(xù)發(fā)生交集型歧義的字段利用規(guī)則與統(tǒng)計(jì)結(jié)合的方式進(jìn)行集中消岐，集中消岐方式避免了碎片整理時(shí)對(duì)沒(méi)有發(fā)生交集型歧義的字段的重復(fù)匹配問(wèn)題，降低了改進(jìn)算法的時(shí)間復(fù)雜度。第三，未登錄詞的識(shí)別，本文結(jié)合改進(jìn)算法利用已有識(shí)別機(jī)制的概率模型與規(guī)則相結(jié)合的方式來(lái)識(shí)別未登錄詞。
　　在大量語(yǔ)料之上的測(cè)試結(jié)果表明，在提高切分速度的同時(shí)