一個(gè)改進(jìn)的中文分詞算法及其在Lucene中的應(yīng)用.pdf

1、中文分詞是中文信息處理的核心問題之一。采用基于字符串匹配與統(tǒng)計(jì)相結(jié)合的算法能夠較好的實(shí)現(xiàn)中文分詞。該算法首先將中文文本以標(biāo)點(diǎn)符號為切分?jǐn)帱c(diǎn)，把待切分的文本切分成含有完整意義的短句，以提高字符串匹配算法的正確率。然后將每個(gè)短句分別按照正向最大匹配和逆向最小匹配進(jìn)行掃描、切分，同時(shí)在每次掃描時(shí)，根據(jù)語義和語言規(guī)則對結(jié)果進(jìn)行優(yōu)化，將漢字、英文字母、數(shù)字分別進(jìn)行劃分，增強(qiáng)算法對不同類型文本的處理能力。最后，根據(jù)最小切分原則和統(tǒng)計(jì)的方法進(jìn)行歧義消

2、解處理。
　　 通常中文分詞的算法分為三種，基于字符串匹配、基于統(tǒng)計(jì)方法和基于理解的。三者各有優(yōu)缺點(diǎn)，改進(jìn)的分詞算法集成了基于字符串匹配算法在實(shí)現(xiàn)方式簡單，效率高的優(yōu)點(diǎn)，并輔以基于語言的基本規(guī)則提高了初切分階段的正確率。在具體實(shí)現(xiàn)上，兩次掃描分別采用了正向最大匹配與逆向最小匹配的算法。算法的選用分別利用了正向最大匹配切分片段數(shù)較少的優(yōu)點(diǎn)和逆向最小匹配對多義型歧義解決較好的優(yōu)點(diǎn)。利用語言規(guī)則優(yōu)化則是在掃描的同時(shí)將漢字、字母和數(shù)字分

3、開劃分，并且對于漢字中的數(shù)詞、量詞，英文字母中的羅馬數(shù)字再分別處理，較好的解決了多種類型文本的分詞問題。改進(jìn)的分詞算法的歧義消解處理過程是根據(jù)兩次掃描的結(jié)果進(jìn)行比較，如果結(jié)果完全相同則直接輸出。如果兩次掃描結(jié)果不同，判斷為有歧義字段產(chǎn)生，需要做相應(yīng)消歧處理：如果切分的片段數(shù)不同，根據(jù)最小切分的原則選擇片段數(shù)較小的作為結(jié)果輸出；如果切分片段數(shù)相同，則采用統(tǒng)計(jì)的方法，利用詞典中的詞頻來判斷采用哪個(gè)結(jié)果作為正確輸出。該算法的另一個(gè)改進(jìn)是在詞典