基于詞典的中文分詞歧義算法研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的飛速普及，人們已經(jīng)進(jìn)入信息時(shí)代。在這個(gè)信息社會(huì)里，信息的重要性與日俱增，無論是個(gè)人，企業(yè)，乃至政府都需要獲取，掌握大量有用的信息。在這種環(huán)境下，中文信息處理技術(shù)逐漸成為技術(shù)人員的開發(fā)熱點(diǎn)，而其中最為重要的就是中文分詞技術(shù)。 中文分詞技術(shù)，就是指將文本中每句話，利用分詞算法拆分成詞，以便于計(jì)算機(jī)對(duì)文本信息進(jìn)行處理和理解的過程。它應(yīng)用廣泛，主要應(yīng)用于信息檢索，信息抽取，機(jī)器翻譯等自然語言處理技術(shù)等。同時(shí)，它包括很多方

2、面內(nèi)容，例如中文分詞技術(shù)中的分詞算法研究，未登錄詞識(shí)別技術(shù)，分詞歧義處理技術(shù)等等。其中歧義處理技術(shù)和未登錄詞識(shí)別技術(shù)是中文分詞技術(shù)的兩大難點(diǎn)。而本文則是重點(diǎn)對(duì)中文分詞技術(shù)中的分詞算法和歧義處理技術(shù)進(jìn)行了深入的研究和實(shí)踐。 首先，本文采用了一種典型的基于詞典的中文分詞算法—正向最大匹配算法，它的思想簡(jiǎn)單，并且易于實(shí)現(xiàn)，但是分詞的精確度和速度并不理想。針對(duì)該問題，本文采用了雙層hash結(jié)構(gòu)的詞典機(jī)制，來提升分詞的速度，同時(shí)采用改進(jìn)的