基于K最短路徑的中文分詞算法研究與實(shí)現(xiàn).pdf

1、中文分詞處于詞法、句法、語(yǔ)義等語(yǔ)言層次的最底層。它是中文自然語(yǔ)言處理的一項(xiàng)基礎(chǔ)性工作，也是中文信息處理領(lǐng)域的一項(xiàng)基礎(chǔ)性課題，它是搜索引擎、自動(dòng)翻譯、語(yǔ)音識(shí)別、信息檢索、自動(dòng)分類、自動(dòng)文摘、文本的自動(dòng)校對(duì)以及數(shù)據(jù)挖掘等技術(shù)的重要組成部分，是直接影響中文信息處理技術(shù)發(fā)展的技術(shù)瓶頸。 本文首先闡述了中文分詞的研究背景與意義，對(duì)中文分詞的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了分析，詳細(xì)講述了基于字符串匹配、統(tǒng)計(jì)和理解的三種典型中文分詞方法，并對(duì)每種方法的

2、優(yōu)缺點(diǎn)進(jìn)行了簡(jiǎn)要的概括，分析了幾種中文分詞相關(guān)的算法模型，并在分詞規(guī)范、歧義識(shí)別、未登錄詞識(shí)別等方面總結(jié)了阻礙中文分詞發(fā)展的幾種主要技術(shù)難題。 然后，本文對(duì)中科院漢語(yǔ)詞法分析系統(tǒng)ICTCLAS的N—最短路徑粗分模型算法進(jìn)行了分析研究，并對(duì)該系統(tǒng)所生成的特殊有向圖的特點(diǎn)和存儲(chǔ)結(jié)構(gòu)進(jìn)行了描述。本文基于該中文分詞系統(tǒng)生成的有向圖，提出了S—EK最短路徑算法模型，同時(shí)對(duì)該算法時(shí)間復(fù)雜度進(jìn)行了分析。 本文最后對(duì)S—EK最短路徑算法