基于Map-Reduce的分布式智能搜索引擎框架研究.pdf

1、隨著搜索經(jīng)濟(jì)的崛起，人們開始越加關(guān)注全球各大搜索引擎的性能、技術(shù)和日流量。作為企業(yè)，會根據(jù)搜索引擎的知名度以及日流量來選擇是否要投放廣告等；作為普通網(wǎng)民，會根據(jù)搜索引擎的性能和技術(shù)來選擇自己喜歡的引擎查找資料；作為技術(shù)人員，會把有代表性的搜索引擎作為研究對象。搜索引擎經(jīng)濟(jì)的崛起，又一次向人們證明了互聯(lián)網(wǎng)所蘊(yùn)藏的巨大商機(jī)?；ヂ?lián)網(wǎng)離開了搜索將只剩下空洞雜亂的數(shù)據(jù)，以及大量等待去費(fèi)力挖掘的金礦。如今互聯(lián)網(wǎng)中的信息每天以指數(shù)級的數(shù)量增長，面對海

2、量數(shù)據(jù)的處理和存儲，傳統(tǒng)的集中式搜索引擎顯得無能為力。另外傳統(tǒng)搜索引擎系統(tǒng)一般都采用關(guān)鍵詞匹配模式，無法理解用戶搜索意圖，使得用戶在互聯(lián)網(wǎng)上搜索自己真正需要的信息很困難。因此搜索引擎的分布式智能化是未來發(fā)展的趨勢。 本文從研究和設(shè)計(jì)的角度出發(fā)，對分布式智能搜索引擎的相關(guān)理論和技術(shù)進(jìn)行了詳細(xì)的分析和討論，將基于Map/Reduce的分布式智能搜索引擎框架研究分為三個層次，即分布式并行計(jì)算理論方法研究、搜索引擎原理的研究以及基于分布

3、式的智能搜索引擎研究。論文主要研究的內(nèi)容如下： 論述了目前搜索引擎的國內(nèi)外發(fā)展現(xiàn)狀、存在的問題以及發(fā)展趨勢；分析了搜索引擎的工作原理以及各部分的主要功能；對分布式計(jì)算理論、網(wǎng)格計(jì)算、云計(jì)算、Map/Reduce分布式計(jì)算模型進(jìn)行分析與研究。對開源搜索引擎工具包Lucene、開源分布式計(jì)算框架Hadoop進(jìn)行了詳細(xì)的分析與研究。 在基于Map/Reduce的分布式計(jì)算模型的基礎(chǔ)上，借助語義詞典，對分布式的智能搜索引擎系統(tǒng)進(jìn)

4、行了研究。設(shè)計(jì)并實(shí)現(xiàn)了基于Map/Reduce的分布式智能搜索引擎——IEBSou。重點(diǎn)闡述了IEBSou系統(tǒng)框架的實(shí)現(xiàn)。不僅給出了系統(tǒng)各模塊之間的關(guān)系，而且還分析了各個模塊的實(shí)現(xiàn)原理和思想。對IEBSou的Map/Reduce基礎(chǔ)框架進(jìn)行了設(shè)計(jì)：結(jié)合Lucene設(shè)計(jì)了統(tǒng)一文檔處理框架，并對中文分詞中人名識別、新詞的識別進(jìn)行了研究；提出了基于Map/Reduce的網(wǎng)頁消重算法；提出了通過構(gòu)建概念集的方式來提供基于語義聯(lián)想的搜索推薦詞生成