基于Hadoop的網(wǎng)絡(luò)文本分析技術(shù)研究與實(shí)現(xiàn).pdf

1、由于移動(dòng)設(shè)備和互聯(lián)網(wǎng)網(wǎng)絡(luò)的快速發(fā)展，互聯(lián)網(wǎng)上產(chǎn)生的信息呈指數(shù)級(jí)的增長(zhǎng)。處理海量數(shù)據(jù)的兩個(gè)關(guān)鍵問(wèn)題就是海量數(shù)據(jù)的存儲(chǔ)和計(jì)算問(wèn)題，傳統(tǒng)的文本處理系統(tǒng)在這兩個(gè)方面都不能滿足海量網(wǎng)絡(luò)文本分析的需求。如何高效的實(shí)時(shí)獲取網(wǎng)絡(luò)信息，實(shí)現(xiàn)海量文本數(shù)據(jù)的存儲(chǔ)和計(jì)算是目前學(xué)術(shù)界和工業(yè)界共同關(guān)注的問(wèn)題，因此對(duì)一問(wèn)題的研究具有重要的意義。
　　面對(duì)海量數(shù)據(jù)的存儲(chǔ)與計(jì)算問(wèn)題，云計(jì)算和大數(shù)據(jù)處理技術(shù)從概念的提出到投入應(yīng)用，為網(wǎng)絡(luò)文本分析提供了新的方向。一些開(kāi)

2、源框架不斷出現(xiàn)，目前最流行的就是Hadoop平臺(tái)，底層采用HDFS分布式文件系統(tǒng)以實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)，使用MapReduce編程框架實(shí)現(xiàn)對(duì)大數(shù)據(jù)的并行計(jì)算，以及采用列數(shù)據(jù)庫(kù)HBase實(shí)現(xiàn)對(duì)結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。在這一平臺(tái)下，開(kāi)發(fā)人員無(wú)需過(guò)多關(guān)注分布式存儲(chǔ)和計(jì)算的實(shí)現(xiàn)細(xì)節(jié)，從而讓用戶把更多的精力用在核心業(yè)務(wù)的實(shí)現(xiàn)上。
　　本文圍繞著基于Hadoop平臺(tái)下的網(wǎng)絡(luò)文本處理展開(kāi)，研究的內(nèi)容包括網(wǎng)絡(luò)文本的獲取、分布式檢索功能構(gòu)建以及文本聚類(lèi)分析

3、，本文的具體工作包括以下幾個(gè)方面:
　　第一，本文提出基于Hadoop的獲取網(wǎng)絡(luò)數(shù)據(jù)實(shí)現(xiàn)方案，該系統(tǒng)由四個(gè)模塊組成，它們的功能分別是，爬取網(wǎng)頁(yè)數(shù)據(jù)、分析網(wǎng)頁(yè)數(shù)據(jù)里的URL、對(duì)URL去重，以及抽取網(wǎng)頁(yè)數(shù)據(jù)里的有用信息。本文給出了系統(tǒng)詳細(xì)實(shí)現(xiàn)方法，包括各個(gè)功能模塊的邏輯流程圖、每個(gè)模塊使用的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。最后，本文實(shí)驗(yàn)的運(yùn)行結(jié)果表明，基于Hadoop平臺(tái)下的網(wǎng)絡(luò)數(shù)據(jù)獲取方法比單機(jī)系統(tǒng)從效率上有很大的提高。
　　第二，本文提出了基

4、于Hadoop分布式檢索功能構(gòu)建，為了使Lucene能很好的運(yùn)行于Hadoop平臺(tái)下，本文首先對(duì)Lucene存儲(chǔ)功能進(jìn)行了擴(kuò)展，使Lucene能支持對(duì)HDFS文件系統(tǒng)的讀寫(xiě)。其次，基于MapReduce框架建立索引的功能由二個(gè)模塊組成，一個(gè)完成了中文分詞并行化的實(shí)現(xiàn)，另一個(gè)完成了倒排索引并行化的實(shí)現(xiàn)。最后，該系統(tǒng)經(jīng)過(guò)測(cè)試，能在Mapduce框架下并行的建立索引，并且以標(biāo)準(zhǔn)尺寸的數(shù)據(jù)塊形式存放在HDFS里。
　　第三，實(shí)現(xiàn)了基于Ha