基于Hadoop的分布式垂直搜索引擎研究與設(shè)計(jì).pdf

1、　　隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)技術(shù)日趨成熟，互聯(lián)網(wǎng)上的站點(diǎn)越來(lái)越多，信息量非常的巨大。但是由于網(wǎng)絡(luò)技術(shù)的發(fā)展與網(wǎng)絡(luò)資源增長(zhǎng)速度加快，網(wǎng)絡(luò)信息的用戶也越來(lái)越多，相比之下，傳統(tǒng)綜合搜索引擎存在覆蓋率范圍有限、返回結(jié)果多而繁雜、更新周期長(zhǎng)以及查詢歧義等諸多問(wèn)題。
　　與此同時(shí)，信息多元化的不斷增長(zhǎng)，不同用戶的檢索需求存在很大差異，傳統(tǒng)綜合搜索引擎已不能有針對(duì)性地滿足不同的檢索需求。且目前成功運(yùn)營(yíng)的商業(yè)搜索引擎大部分采用了集中式體系結(jié)構(gòu)，系

2、統(tǒng)對(duì)單臺(tái)服務(wù)器性能要求高，易出現(xiàn)故障、擴(kuò)展性差等。針對(duì)這些缺點(diǎn)，一個(gè)性能佳、容錯(cuò)好、擴(kuò)展容易、分類細(xì)致精確、數(shù)據(jù)全面深入、更新及時(shí)的分布式垂直搜索便應(yīng)運(yùn)而生。
　　分布式是指多臺(tái)服務(wù)器構(gòu)建一個(gè)集群，服務(wù)器之間相互協(xié)調(diào)進(jìn)行工作；垂直搜索是指針對(duì)某一行業(yè)的專業(yè)搜索，其特點(diǎn)是“專、精、深”，具有鮮明行業(yè)特色，是通用搜索引擎的細(xì)分和延伸。本課題采用Hadoop搭建了分布式集群，然后對(duì)開(kāi)源搜索組件Nutch和Solr進(jìn)行源碼分析，接著深入