基于Map-Reduce的分布式Web服務(wù)搜索引擎研究與實(shí)現(xiàn).pdf

1、在Web服務(wù)技術(shù)中，UDDI注冊(cè)中心作為Web服務(wù)發(fā)布、發(fā)現(xiàn)和交流的平臺(tái)，起到了聯(lián)系用戶和Web服務(wù)發(fā)布者的橋梁作用，隨著公共UDDI注冊(cè)中心的陸續(xù)關(guān)閉，越來(lái)越多的服務(wù)提供者傾向于使用非注冊(cè)的方式直接將服務(wù)發(fā)布在各自的網(wǎng)站上。因此Web服務(wù)的部署有更加分散的趨勢(shì)，導(dǎo)致用戶搜索和發(fā)現(xiàn)感興趣的Web服務(wù)變得更加困難。在這種形勢(shì)下，利用搜索引擎技術(shù)來(lái)發(fā)現(xiàn)Web服務(wù)的研究開(kāi)始成為最近的一個(gè)熱點(diǎn)。從Web服務(wù)概念的提出到現(xiàn)在已經(jīng)有十多年的時(shí)間，隨

2、著Web服務(wù)的廣泛應(yīng)用，也暴露出了越來(lái)越多的問(wèn)題。與此同時(shí)，基于Rest風(fēng)格的Web服務(wù)可以在繼承傳統(tǒng)Web服務(wù)優(yōu)勢(shì)的同時(shí)有效的解決的傳統(tǒng)Web服務(wù)所面臨的缺陷，受到了越來(lái)越多的企業(yè)和研究者的重視和關(guān)注，WebAPI則是一種典型的Rest風(fēng)格的Web服務(wù)。現(xiàn)階段，已開(kāi)放的WebAPI越來(lái)越多，但相對(duì)互聯(lián)網(wǎng)還十分分散，如何將已發(fā)布的WebAPI盡可能多的搜集起來(lái)供開(kāi)發(fā)者使用，是一個(gè)很具有實(shí)際意義的研究問(wèn)題。Map/Reduce是一個(gè)面向分

3、布式的編程模型，設(shè)計(jì)實(shí)現(xiàn)了一個(gè)能夠在多計(jì)算節(jié)點(diǎn)環(huán)境下計(jì)算和存儲(chǔ)超大規(guī)模數(shù)據(jù)集的算法，通過(guò)使用Map/Reduce技術(shù)能夠在普通的PC集群上方便快捷的部署分布式應(yīng)用程序，有效提高搜索引擎的系統(tǒng)性能和工作效率。
　　本文主要工作如下。
　　1.提出了基于Map/Reduce的分布式Web服務(wù)搜索引擎的體系架構(gòu)，并對(duì)相關(guān)的模塊做出了詳細(xì)的介紹。
　　2.利用Map/Reduce技術(shù)將整個(gè)系統(tǒng)構(gòu)建在Hadoop框架上，充分發(fā)揮

4、了計(jì)算機(jī)集群強(qiáng)大的計(jì)算和數(shù)據(jù)存儲(chǔ)能力，實(shí)驗(yàn)證明本系統(tǒng)在抓取Web服務(wù)效率上明顯好于傳統(tǒng)集中式Web服務(wù)搜索引擎。
　　3.通過(guò)研究Web服務(wù)在互聯(lián)網(wǎng)上的分布情況，提出了一種多粒度待抓取URL優(yōu)先級(jí)算法，實(shí)驗(yàn)證明，多粒度待抓取URL優(yōu)先級(jí)算法可以提高搜索引擎的工作效率。
　　4.通過(guò)對(duì)已經(jīng)獲取的部分WebAPI描述文檔的分析和研究，提出了一種針對(duì)WebAPI描述文檔的垂直搜索分析算法，通過(guò)實(shí)驗(yàn)，驗(yàn)證了利用網(wǎng)絡(luò)蜘蛛技術(shù)在互聯(lián)網(wǎng)上