基于分布式的搜索引擎框架研究和實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)中的信息也是呈幾何級數(shù)爆炸增長，人們查閱資料已不是依靠有限范圍內(nèi)的網(wǎng)站來尋找，而是依靠搜索引擎對信息海洋中的海量數(shù)據(jù)進(jìn)行訪問了。搜索引擎也越來越普遍應(yīng)用到各個層面中，大到整個互聯(lián)網(wǎng)絡(luò)的搜索，小到本地文件的搜索，本文正是基于搜索引擎的普遍化，設(shè)計(jì)并實(shí)現(xiàn)了一個分布式的搜索引擎框架，能夠應(yīng)用于不同的搜索方案。 本文首先介紹了 KM 分布式系統(tǒng)所使用到的工具包，并且分析了其中的一些原理和實(shí)現(xiàn)機(jī)制。隨后重點(diǎn)介

2、紹了Hadoop分布式編程框架的原理。KM分布式搜索框架是基于Hadoop實(shí)現(xiàn)的，所以它具有非常好的可擴(kuò)展性。使用Map/Reduce技術(shù)能夠高效而穩(wěn)定的運(yùn)行分布式的任務(wù)。本文還詳細(xì)探討了信息抓取模塊中負(fù)責(zé)訪問網(wǎng)絡(luò)部分的效率分析，采用 DNS 預(yù)轉(zhuǎn)換的方式加速網(wǎng)絡(luò)爬蟲的訪問速度。采用運(yùn)行在每一個節(jié)點(diǎn)上的分布式搜索服務(wù)器，能夠提供每個分布式節(jié)點(diǎn)中的索引數(shù)據(jù)的搜索能力。重點(diǎn)闡述了 KM 分布式搜索系統(tǒng)框架的實(shí)現(xiàn)。不僅給出了系統(tǒng)各模塊之間的關(guān)