基于網(wǎng)格技術(shù)的Web信息采集系統(tǒng).pdf

1、互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及導(dǎo)致網(wǎng)上信息爆炸性增長(zhǎng)。如何在龐大的互聯(lián)網(wǎng)上獲得有價(jià)值的信息已成為網(wǎng)民日益關(guān)注的問(wèn)題。 搜索引擎是一種用于幫助因特網(wǎng)用戶(hù)查詢(xún)信息的搜索工具。一個(gè)高效的采集系統(tǒng)是一個(gè)好的搜索引擎的重要基礎(chǔ)。大型搜索引擎都是采用基于集群的分布式采集系統(tǒng)。但是隨著信息量的爆炸式增長(zhǎng)，搜索引擎需要越來(lái)越多的計(jì)算資源、存儲(chǔ)資源，并且維護(hù)一個(gè)龐大的集群系統(tǒng)是耗費(fèi)巨大的。 本文提出把網(wǎng)格技術(shù)和搜索引擎技術(shù)結(jié)合起來(lái)，將互聯(lián)網(wǎng)上

2、大量閑置的資源利用起來(lái)，以滿(mǎn)足我們的需要。網(wǎng)格被視為21世紀(jì)的新型網(wǎng)絡(luò)基礎(chǔ)架構(gòu)以及未來(lái)10年中IT商業(yè)應(yīng)用的主流。網(wǎng)格利用互聯(lián)網(wǎng)把分散在不同地理位置的計(jì)算機(jī)組織成一臺(tái)“虛擬的超級(jí)計(jì)算機(jī)”，實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源、信息資源、軟件資源、通信資源、知識(shí)資源、專(zhuān)家資源等的全面連通與共享。 本文首先論述了Web信息采集的基本原理，關(guān)鍵技術(shù)和系統(tǒng)結(jié)構(gòu)，并分析和研究了開(kāi)源搜索引擎Nutch項(xiàng)目。接著簡(jiǎn)單介紹了網(wǎng)格概念，分析比較了五層沙漏結(jié)構(gòu)和

3、OGSA架構(gòu)，并詳細(xì)介紹了主流的網(wǎng)格開(kāi)發(fā)軟件平臺(tái)Globus。隨后提出一個(gè)基于網(wǎng)格技術(shù)的Web信息采集系統(tǒng)，分析和研究了基于網(wǎng)格技術(shù)的Web信息采集系統(tǒng)的組成結(jié)構(gòu)和各部分的主要功能，并詳細(xì)地探討了Web信息采集幾個(gè)關(guān)鍵技術(shù)問(wèn)題的解決方法。最后實(shí)現(xiàn)了一個(gè)具有服務(wù)發(fā)現(xiàn)和監(jiān)視，數(shù)據(jù)可靠傳輸，資源協(xié)同分配，分布式采集等功能的網(wǎng)格Web信息采集原型系統(tǒng)，并闡明了Web服務(wù)資源的編程、通知機(jī)制和各服務(wù)模塊的實(shí)現(xiàn)過(guò)程。該系統(tǒng)構(gòu)建在G10bus最新的技