基于Hadoop的網(wǎng)絡(luò)文本分析技術(shù)研究與實現(xiàn).pdf

1、由于移動設(shè)備和互聯(lián)網(wǎng)網(wǎng)絡(luò)的快速發(fā)展，互聯(lián)網(wǎng)上產(chǎn)生的信息呈指數(shù)級的增長。處理海量數(shù)據(jù)的兩個關(guān)鍵問題就是海量數(shù)據(jù)的存儲和計算問題，傳統(tǒng)的文本處理系統(tǒng)在這兩個方面都不能滿足海量網(wǎng)絡(luò)文本分析的需求。如何高效的實時獲取網(wǎng)絡(luò)信息，實現(xiàn)海量文本數(shù)據(jù)的存儲和計算是目前學(xué)術(shù)界和工業(yè)界共同關(guān)注的問題，因此對一問題的研究具有重要的意義。
　　面對海量數(shù)據(jù)的存儲與計算問題，云計算和大數(shù)據(jù)處理技術(shù)從概念的提出到投入應(yīng)用，為網(wǎng)絡(luò)文本分析提供了新的方向。一些開

2、源框架不斷出現(xiàn)，目前最流行的就是Hadoop平臺，底層采用HDFS分布式文件系統(tǒng)以實現(xiàn)海量數(shù)據(jù)的存儲，使用MapReduce編程框架實現(xiàn)對大數(shù)據(jù)的并行計算，以及采用列數(shù)據(jù)庫HBase實現(xiàn)對結(jié)構(gòu)化數(shù)據(jù)的存儲。在這一平臺下，開發(fā)人員無需過多關(guān)注分布式存儲和計算的實現(xiàn)細(xì)節(jié)，從而讓用戶把更多的精力用在核心業(yè)務(wù)的實現(xiàn)上。
　　本文圍繞著基于Hadoop平臺下的網(wǎng)絡(luò)文本處理展開，研究的內(nèi)容包括網(wǎng)絡(luò)文本的獲取、分布式檢索功能構(gòu)建以及文本聚類分析

3、，本文的具體工作包括以下幾個方面:
　　第一，本文提出基于Hadoop的獲取網(wǎng)絡(luò)數(shù)據(jù)實現(xiàn)方案，該系統(tǒng)由四個模塊組成，它們的功能分別是，爬取網(wǎng)頁數(shù)據(jù)、分析網(wǎng)頁數(shù)據(jù)里的URL、對URL去重，以及抽取網(wǎng)頁數(shù)據(jù)里的有用信息。本文給出了系統(tǒng)詳細(xì)實現(xiàn)方法，包括各個功能模塊的邏輯流程圖、每個模塊使用的數(shù)據(jù)存儲結(jié)構(gòu)。最后，本文實驗的運行結(jié)果表明，基于Hadoop平臺下的網(wǎng)絡(luò)數(shù)據(jù)獲取方法比單機系統(tǒng)從效率上有很大的提高。
　　第二，本文提出了基

4、于Hadoop分布式檢索功能構(gòu)建，為了使Lucene能很好的運行于Hadoop平臺下，本文首先對Lucene存儲功能進行了擴展，使Lucene能支持對HDFS文件系統(tǒng)的讀寫。其次，基于MapReduce框架建立索引的功能由二個模塊組成，一個完成了中文分詞并行化的實現(xiàn)，另一個完成了倒排索引并行化的實現(xiàn)。最后，該系統(tǒng)經(jīng)過測試，能在Mapduce框架下并行的建立索引，并且以標(biāo)準(zhǔn)尺寸的數(shù)據(jù)塊形式存放在HDFS里。
　　第三，實現(xiàn)了基于Ha