基于ProActive的分布式并行Web Spider研究.pdf

1、搜索引擎面對不斷爆炸性增長的互聯(lián)網(wǎng)信息，為了保證搜索的全面性和頁面的有效性，就要求有更短的更新周期，于是對Web Spider的采集效率提出了更高的要求。單機的Web Spider的采集效率明顯不能滿足搜索引擎的更新需求。目前的分布式并行Web Spider大都用C、C++、Fortran編寫的PVM或MPI程序，或者直接用java開發(fā)，然而PVM或MPI程序，具有可移植性差，不便于擴展，配置復(fù)雜等缺點，直接用java開發(fā)，為了實現(xiàn)把本

2、地對象轉(zhuǎn)化成可用的遠(yuǎn)程對象，要求編程人員對庫中現(xiàn)有代碼做較大修改，這給編程人員增加了很大的負(fù)擔(dān)，開發(fā)代價過高。URL去重算法對重復(fù)率高的URL集合去重效率不高。帶有中心節(jié)點的整體架構(gòu)不夠合理，中心節(jié)點容易形成系統(tǒng)性能瓶頸，影響了系統(tǒng)的可擴展性。 針對Web Spider設(shè)計開發(fā)代價過高的不足，我們提出了一種利用ProActive網(wǎng)格網(wǎng)絡(luò)并行分布計算中間件開發(fā)分布式Web Spider的新技術(shù)，并且用此技術(shù)設(shè)計開發(fā)了一個分布式并行

3、Web Spider系統(tǒng)。實驗證明利用此項技術(shù)，使得系統(tǒng)采集效率提高，部署配置變得更加靈活方便，開發(fā)代價大幅降低。然后，我們針對在Web Spider采集的高重復(fù)率URL集合上，目前系統(tǒng)中普遍采用的URL去重算法去重效率不高的不足做了改進(jìn)，設(shè)計了基于Rabin算法的URL去重算法。通過理論分析和對比實驗證明該去重算法在高重復(fù)率的URL集合上有更高的去重效率，有效提高了Web Spider的URL去重檢索速度。最后，應(yīng)用該改進(jìn)的URL去重