搜索引擎并行計(jì)算框架的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著技術(shù)的日新月異，各種新思想在搜索引擎領(lǐng)域不斷的提出。由于搜索引擎所需要處理數(shù)據(jù)量極大且這些數(shù)據(jù)更新速度極快，傳統(tǒng)的串行計(jì)算已不能滿(mǎn)足搜索引擎中的計(jì)算需要，因此大規(guī)模搜索引擎中無(wú)一例外的采用了并行的方式。而在這種前提下并行編程的高難度，成了新思想應(yīng)用到實(shí)際中的主要障礙,為此Google提出了一種MapReduce的方法來(lái)解決這個(gè)問(wèn)題。
　　本課題研究的目的在于實(shí)現(xiàn)了一種通用的并行架構(gòu)模型——MapReduce模型，使得開(kāi)發(fā)人員在

2、開(kāi)發(fā)新的并行程序時(shí)可以脫離繁瑣的并行編程，降低其復(fù)雜度，提高新思想應(yīng)用的速度，并在MapReduce模型的基礎(chǔ)上加以擴(kuò)展。
　　本課題對(duì)搜索引擎中所需要的并行計(jì)算進(jìn)行了分析，并在分析傳統(tǒng)并行算法的基礎(chǔ)上，實(shí)現(xiàn)并擴(kuò)展了MapReduce框架。本文主要研究?jī)?nèi)容如下：
　　(1)分析搜索引擎中并行運(yùn)算，根據(jù)其特點(diǎn)得到需求。
　　(2)分析傳統(tǒng)并行算法，結(jié)合其特點(diǎn)分析MapReduce思想，并根據(jù)其思想設(shè)計(jì)實(shí)現(xiàn)了基于C++的M

3、apReduce系統(tǒng)
　　(3)在網(wǎng)頁(yè)內(nèi)容的模糊去重算法應(yīng)用中發(fā)現(xiàn)MapReduce架構(gòu)在Mapper結(jié)果的歸并過(guò)程調(diào)度上的不足，并設(shè)計(jì)實(shí)現(xiàn)了相應(yīng)的解決方案，在原有的MapReduce框架的基礎(chǔ)上進(jìn)行了擴(kuò)展。
　　(4)根據(jù)實(shí)際應(yīng)用，分析MapReduce實(shí)際效率。
　　通過(guò)大規(guī)模試驗(yàn)，最終我們發(fā)現(xiàn)：在實(shí)際應(yīng)用中隨著MapReduce框架的引入，用戶(hù)所編寫(xiě)并行程序的代碼量大幅度降低，在一些應(yīng)用中用戶(hù)所需要編寫(xiě)的代碼量由