基于Hadoop平臺的中文分詞算法應(yīng)用研究.pdf

1、近年來，隨著中文在世界舞臺扮演著越來越重要的角色，吸引眾多學(xué)者投入中文分詞的研究，目前實(shí)現(xiàn)了很多基于詞典和概率統(tǒng)計(jì)的中文分詞算法。
　　云計(jì)算平臺多是由大量廉價(jià)的PC機(jī)搭建而成，并且這種集群往往比超高性能的服務(wù)器表現(xiàn)還要好。以Hadoop為代表的云計(jì)算平臺是近幾年剛剛興起并得到快速發(fā)展的一種新技術(shù)，原因在于這種分布式平臺可以提供海量存儲和超級計(jì)算的能力。把分析挖掘超大數(shù)據(jù)集的任務(wù)使用云計(jì)算方案來解決，能夠極大地提升切分文本信息、挖

2、掘結(jié)果集與形象化顯示結(jié)果的效能。所以說，以Hadoop為代表的云計(jì)算平臺和海量中文數(shù)據(jù)集的處理相融合，會是一個(gè)很有科研價(jià)值和潛力的研究方向。
　　本文主要研究基于Hadoop的海量文本數(shù)據(jù)集的分詞算法改進(jìn)及結(jié)果集的數(shù)據(jù)挖掘，具體工作有如下幾點(diǎn):
　　1.研究了Hadoop的相關(guān)核心技術(shù)以及Hadoop集群的搭建過程。將Hadoop和中文分詞算法相融合，設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的兩種中文分詞改進(jìn)算法的分詞系統(tǒng)，并進(jìn)一步介紹

3、了組成該分詞系統(tǒng)的核心模塊的作用。
　　2.中文分詞算法如何順利地在Hadoop平臺上實(shí)現(xiàn)是研究海量文本處理的重點(diǎn)和難點(diǎn)。本文詳細(xì)介紹了如何通過算法的改進(jìn)來解決這個(gè)問題，從Hadoop的角度闡述為何選擇這樣的設(shè)計(jì)思路，并利用搭建好的Hadoop集群檢測這種算法設(shè)計(jì)的可行性。
　　3.詳細(xì)設(shè)計(jì)了ICTCLAS和IK Analyzer分詞算法在Hadoop集群上的對比實(shí)驗(yàn):首先進(jìn)行了單機(jī)模式和Hadoop集群模式分詞速度的對比以

4、及不同數(shù)量節(jié)點(diǎn)的集群的分詞速度對比;然后完成了處理不同大小的文本時(shí)切分速度的對比;之后進(jìn)行了處理不同數(shù)量的文本時(shí)切分速度的對比;最后完成了處理不同領(lǐng)域的文本內(nèi)容時(shí)切分精度、召回率和F值的對比;并從理論上詳細(xì)分析了實(shí)驗(yàn)的結(jié)果。
　　4.在基于Hadoop平臺的中文分詞算法上引入了一個(gè)評價(jià)參數(shù)“詞頻”和任務(wù)管道方法，詳細(xì)分析了切分后的海量詞組集:首先挖掘詞頻與排序之間的關(guān)系是否符合Zipf定律;然后詳細(xì)對比了兩種分詞算法處理同一海量文