分布式Web信息采集關(guān)鍵技術(shù)研究.pdf

1、近20年來，為了應(yīng)對Web上信息量的不斷增長以及信息更新頻度的不斷提高，Web信息采集系統(tǒng)不斷擴大自身規(guī)模，其系統(tǒng)結(jié)構(gòu)也從單機到多機，從集中式到分布式逐步演進。至今，分布式系統(tǒng)結(jié)構(gòu)已經(jīng)成為構(gòu)建Web信息采集系統(tǒng)的首選方案，而由分布式系統(tǒng)結(jié)構(gòu)所引申出的Web劃分問題、任務(wù)調(diào)度問題和節(jié)點協(xié)同問題已經(jīng)成為構(gòu)建分布式Web信息采集系統(tǒng)的關(guān)鍵技術(shù)問題。對這些關(guān)鍵技術(shù)問題的深入分析與研究對于提高搜索引擎系統(tǒng)的性能乃至整個Web的可訪問性具有重要意義

2、。本文在總結(jié)前人工作的基礎(chǔ)上，針對分布式Web信息采集系統(tǒng)的若干關(guān)鍵技術(shù)問題進行了深入研究。
　　首先，現(xiàn)有的分布式Web信息采集系統(tǒng)乃至分布式搜索引擎系統(tǒng)都缺乏對系統(tǒng)構(gòu)建中的最根本要素--系統(tǒng)成本的量化評估，為此，本文提出了一個較為完善的包括分布式Web信息采集系統(tǒng)在內(nèi)的分布式搜索引擎的成本模型，并利用該成本模型對若干種構(gòu)建搜索引擎系統(tǒng)的設(shè)計方案從系統(tǒng)成本、系統(tǒng)規(guī)模和查詢響應(yīng)時間等角度進行了詳盡的理論分析。我們發(fā)現(xiàn)，由廣域網(wǎng)分布

3、式采集系統(tǒng)和多機群索引系統(tǒng)組成的半廣域網(wǎng)搜索引擎系統(tǒng)相對于其他搜索引擎系統(tǒng)具有相對較低的成本，同時能夠較好的兼顧對用戶的服務(wù)質(zhì)量。
　　之后，針對在分布式環(huán)境下如何能夠有效降低網(wǎng)頁下載時間這一問題，本文對面向網(wǎng)絡(luò)距離的Web劃分算法進行了研究，給出了適用于分布式采集系統(tǒng)的網(wǎng)絡(luò)距離的度量標準；基于網(wǎng)絡(luò)距離和網(wǎng)絡(luò)坐標系統(tǒng)，我們提出了一種新的Web劃分算法，并通過實驗驗證了其在提高系統(tǒng)吞吐量方面的優(yōu)越性。
　　針對廣域網(wǎng)分布式We

4、b信息采集系統(tǒng)，本文分別在任務(wù)調(diào)度和節(jié)點協(xié)同方面提出了若干優(yōu)化方法：針對Web劃分方法在動態(tài)調(diào)度中的不足，提出了基于任務(wù)轉(zhuǎn)發(fā)的動態(tài)負載均衡算法，避免了采集節(jié)點的忙閑不均現(xiàn)象，進一步提高了全系統(tǒng)的吞吐量；針對廣域網(wǎng)分布式Web信息采集系統(tǒng)中節(jié)點間通信量負載較重的問題，提出通過對Web主機之間鏈接關(guān)系建立坐標模型的方法，實現(xiàn)面向鏈接關(guān)系的Web劃分，從而降低了采集節(jié)點間通信量中比重最大的鏈接交換的通信量。
　　最后，為了兼顧分布式We

5、b信息采集中的健壯性、效率和成本，本文提出了一種基于內(nèi)容尋址網(wǎng)絡(luò)的廣域網(wǎng)分布式Web信息采集系統(tǒng)，該系統(tǒng)能夠利用網(wǎng)絡(luò)上分布在各處的獨立的計算資源，組建一個能夠完成Web信息采集功能的覆蓋網(wǎng)絡(luò)，從而為這三個問題提供了有效的解決方案：一方面，內(nèi)容尋址網(wǎng)絡(luò)這種 P2P協(xié)議的采用，使得系統(tǒng)可以隨著 Web一起擴展和壯大；另一方面，Web劃分大幅縮短Web信息采集時間，提高了系統(tǒng)的吞吐量及信息更新頻率；同時，根據(jù)我們提出的成本模型分析，該系統(tǒng)還能