基于網格的分詞服務系統(tǒng)的研究與實現.pdf

1、漢語分詞是信息檢索、機器翻譯、文本校對等中文信息處理重要領域的基礎。由于漢語中存在詞語規(guī)范、歧義和未登錄詞等問題，漢語分詞一直困擾著中文信息技術的發(fā)展。因此，研究漢語分詞具有十分重要的意義。同時，在分詞應用方面，基于網絡的在線測試分詞系統(tǒng)僅提供測試功能，存在只能處理少量文本、用戶使用不方便、程序無法直接調用等缺點。 網格是近年來繼Internet、WWW技術后興起的一種新技術，能為復雜應用提供分布式并行環(huán)境。網格服務可以以不同的

2、方式聚集起來滿足應用的需要，提高代碼重用率。所以，開發(fā)一個基于網格的面向用戶和程序的分詞服務系統(tǒng)，以服務形式為中文信息處理的基礎研究提供支撐環(huán)境，有一定的意義。 本文首先研究了漢語分詞應用需求的多樣性，結合網格的特點設計了七個服務算法。為盡量減少代碼移植的工作量，本文研究了GT4的CWSCore，分析用C語言實現網格服務的原理和方法，然后將上述七種算法封裝成服務，在網格平臺上發(fā)布。根據這些算法生成的網格服務，可以以不同的方式組合

3、起來，形成多種類型的分詞服務，從而滿足不同的分詞應用需求。基于GT4的網格服務多采用Java語言實現，而現有平臺下的大量的應用程序使用C語言開發(fā)。因此本文的方法對C語言應用程序的網格移植有一定的參考意義。 同時，本文還研究了Olobus的作業(yè)管理機制、Condor系統(tǒng)和PVM并行虛擬機系統(tǒng)，提出了Condor-PVM與Globus結合的并行計算機制，解決了網格環(huán)境中用C語言編程實現分布式并行計算的問題。實驗證明該機制在處理大規(guī)模