基于網(wǎng)格技術(shù)的主題爬蟲算法優(yōu)化的研究與實(shí)現(xiàn).pdf

1、網(wǎng)格技術(shù)是近年來得到廣泛應(yīng)用的技術(shù)，它解決了資源的真正共享，使各結(jié)點(diǎn)大量資源得到統(tǒng)一支配和使用，信息網(wǎng)格是在計(jì)算網(wǎng)格的基礎(chǔ)之上，利用數(shù)據(jù)挖掘、信息融合和搜索引擎等技術(shù)而構(gòu)建的，便于網(wǎng)格資源的搜集與共享，目標(biāo)是創(chuàng)建一種構(gòu)建在OS和Web之上的基于Internet的新一代信息平臺(tái)，在這個(gè)平臺(tái)上，信息的處理是分布的、協(xié)作和智能化的。 主題爬蟲是根據(jù)目標(biāo)主題，以智能化的方式從Web上收集主題相關(guān)的頁面集，然后采用機(jī)器學(xué)習(xí)或信息檢索的方法

2、對(duì)收集到的信息進(jìn)行智能處理和分析，最后以方便、有效的檢索方式滿足用戶的信息檢索需求。 本文闡述了網(wǎng)格和主題爬蟲的基本概念和國(guó)內(nèi)外的發(fā)展現(xiàn)狀，說明了研究基于網(wǎng)格技術(shù)的主題爬蟲算法的意義。 詳細(xì)論述了網(wǎng)格技術(shù)以及網(wǎng)格的體系結(jié)構(gòu)，同時(shí)闡述了Globus的積木式體系結(jié)構(gòu)、OGSA體系結(jié)構(gòu)和基于Web Services的OGSA架構(gòu)，進(jìn)而介紹了開放式網(wǎng)格服務(wù)的基礎(chǔ)結(jié)構(gòu)。 重點(diǎn)分析了主題爬蟲的概念、體系結(jié)構(gòu)以及存在的主要問題

3、，提出一種主題爬蟲算法——ZTSpider算法，通過對(duì)超文本分類器和超鏈接評(píng)價(jià)器的研究，改進(jìn)了現(xiàn)有主題爬蟲算法在線學(xué)習(xí)能力差的問題，同時(shí)應(yīng)用反饋機(jī)制，優(yōu)化了網(wǎng)頁父子結(jié)點(diǎn)之間的信息傳遞，增加爬行收獲率。 設(shè)計(jì)并實(shí)現(xiàn)了主題爬蟲ZTSpider模擬系統(tǒng)，改進(jìn)了現(xiàn)有的主題爬蟲的體系結(jié)構(gòu)，該系統(tǒng)應(yīng)用JAVA語言開發(fā)，具有跨平臺(tái)、高可擴(kuò)展等特性，實(shí)現(xiàn)了Web信息的智能化收集，通過該爬蟲算法的收獲率，驗(yàn)證了ZTSpider算法的有效性。