基于Hadoop的Nutch分布式搜索引擎研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)中的信息量日益增大且已經(jīng)呈現(xiàn)出指數(shù)級(jí)的膨脹趨勢(shì)。21世紀(jì)是信息的時(shí)代，人們希望能夠找出一種有效的方法使得快速、方便、高效地從互聯(lián)網(wǎng)上查找信息成為可能，搜索引擎技術(shù)的及時(shí)出現(xiàn)使人們的愿望成為現(xiàn)實(shí)。Nutch是構(gòu)建于Lucene基礎(chǔ)之上的完整Web搜索引擎，提供了運(yùn)行搜索引擎所需要的基本工具。Nutch有兩個(gè)主要的缺陷：一是不支持中文分詞技術(shù)，二是沒(méi)有實(shí)現(xiàn)Google的PageRank網(wǎng)頁(yè)排序算法，本文的主要工

2、作是分析Hadoop集群處理大數(shù)據(jù)的性能以及實(shí)現(xiàn)一個(gè)比較完善的基于Hadoop的Nutch分布式搜索引擎。
　　本文首先簡(jiǎn)單的介紹了搜索引擎的發(fā)展歷史，詳細(xì)分析了搜索引擎的基本框架和工作原理，描述了搜索引擎的工作流程，全面剖析了搜索引擎的核心技術(shù)。其次在Nutch框架中實(shí)現(xiàn)了中文分詞技術(shù)的添加和基于MapReduce編程模型的PageRank算法。再次詳細(xì)介紹了云計(jì)算的開(kāi)源框架Hadoop，在Windows中成功搭建Hadoop集

3、群，并通過(guò)MapReduce構(gòu)建大規(guī)模數(shù)據(jù)索引實(shí)驗(yàn)來(lái)分析Hadoop性能，實(shí)驗(yàn)證明：網(wǎng)絡(luò)帶寬越大，集群效率越高；集群中的節(jié)點(diǎn)數(shù)越多，處理大數(shù)據(jù)的能力越強(qiáng)。最后首先分析了Nutch搜索引擎的系統(tǒng)架構(gòu)并對(duì)其進(jìn)行分布式改造，然后在Hadoop集群中成功運(yùn)行Nutch分布式搜索引擎，實(shí)現(xiàn)了分布式抓取網(wǎng)頁(yè)和建立索引，并比較了單機(jī)和分布式搜索引擎的工作效率，實(shí)驗(yàn)證明：處理的數(shù)據(jù)量越大，越能發(fā)揮集群的優(yōu)勢(shì)，分布式搜索引擎與單機(jī)搜索引擎相比在效率上有所