基于并行計算的中文分詞系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、當(dāng)前隨著計算機(jī)和互聯(lián)網(wǎng)技術(shù)的普及,人們已經(jīng)進(jìn)入了信息呈指數(shù)級爆炸式增長的信息時代,每個人在實(shí)際生活中每時每刻都在不斷地與信息打交道:接收信息、加工信息和利用信息。面對各種海量信息,人們試圖引入計算機(jī)來幫助我們進(jìn)行信息管理,并取得不錯的效果,然而這種管理通常局限于小部分的可用數(shù)據(jù)庫系統(tǒng)管理的結(jié)構(gòu)化信息,在IT應(yīng)用中除了結(jié)構(gòu)化信息外,還存在有非結(jié)構(gòu)化信息,如文本檔案、電子郵件、聲音、影片、圖像等。非結(jié)構(gòu)化信息隱含了許多有價值的關(guān)鍵信息,但由

2、于非結(jié)構(gòu)化信息的割裂性和不可操作性使得對這部分信息的提取很困難,目前人們已經(jīng)著力于各種技術(shù)的研究,以期在非結(jié)構(gòu)化信息提取中取得突破,中文信息處理技術(shù)就是其中一種,目前中文信息技術(shù)已經(jīng)呈現(xiàn)海量、自動化和智能化的特征,并逐漸融合包括音頻、視頻在內(nèi)的多媒體技術(shù)特性。中文信息處理以詞作為加工的基本單位,可以說中文分詞是中文信息處理的必備條件,分詞的處理效率將直接制約中文信息處理的效果。
　　 本文通過對目前存在的多種中文分詞技術(shù),如基于

3、機(jī)械匹配的分詞方法、基于統(tǒng)計的分詞方法及基于人工智能技術(shù)的分詞方法等的深入研究,發(fā)現(xiàn)目前的并行分詞算法大多都存在一個特點(diǎn):在單處理機(jī)上進(jìn)行并行處理。另一方面,各種并行計算機(jī)的研究已經(jīng)從理論模型研究階段進(jìn)入了商用階段,各種并行算法也如雨后春筍般迅速普及,并行計算的應(yīng)用已經(jīng)成為了可能。本論文將并行計算技術(shù)引入到中文分詞領(lǐng)域,設(shè)計出了一種基于并行計算的中文分詞系統(tǒng),使用該系統(tǒng)對大規(guī)模批量文本文件進(jìn)行中文分詞處理分詞性能得到了顯著的提升。該系統(tǒng)

4、從現(xiàn)有的基于詞典的機(jī)械匹配分詞算法出發(fā),通過一系列步驟,最終設(shè)計出一個能展示并發(fā)性、可擴(kuò)展性的并行分詞系統(tǒng)。此過程可分為四步,即任務(wù)劃分、通信分析、任務(wù)組合和處理器映射。在任務(wù)劃分階段通過域分解方法將中文分詞問題劃分為一些小的計算任務(wù),以開拓算法的并行性和滿足可擴(kuò)放性；在通信分析階段分析了各并行任務(wù)之間的通信要求和通信成本；在任務(wù)組合階段對算法的通信成本和總體執(zhí)行時間進(jìn)行了優(yōu)化,同時進(jìn)行必要的反復(fù)回溯；在處理器映射階段將經(jīng)過優(yōu)化的算法指