面向廣域網(wǎng)的分布式搜索引擎中任務(wù)調(diào)度技術(shù)的研究.pdf

1、由于Web的地域分布式特性以及網(wǎng)絡(luò)基礎(chǔ)條件等方面的限制，隨著Web的迅速膨脹，目前的搜索引擎由于其集中式的結(jié)構(gòu)遇到覆蓋率和更新率方面的瓶頸。使用廣域網(wǎng)下的分布式搜索引擎，可以很好的適應(yīng)Web信息管理的需求，獲得比傳統(tǒng)搜索引擎更高的效率。分布式搜索引擎設(shè)計(jì)中最重要的部分之一是調(diào)度系統(tǒng)，它將特定Web頁面的抓取任務(wù)調(diào)度至廣域網(wǎng)上效率較優(yōu)的爬蟲，以提高整個搜索引擎的抓取效率。準(zhǔn)確并且迅速的調(diào)度策略是分布式調(diào)度系統(tǒng)研究的關(guān)鍵問題。
　　本

2、文針對分布式搜索引擎的特點(diǎn)，綜合考慮分布式結(jié)構(gòu)中調(diào)度系統(tǒng)的需求，研究分布式調(diào)度中關(guān)鍵技術(shù)并設(shè)計(jì)實(shí)現(xiàn)廣域網(wǎng)上的分布式搜索引擎調(diào)度系統(tǒng)。本文分析了基于隨機(jī)哈希、基于網(wǎng)站域名后綴及文件類型、基于地理位置、基于IP注冊信息等傳統(tǒng)Web劃分策略的弊端，首次將網(wǎng)絡(luò)距離預(yù)測應(yīng)用在Web爬蟲調(diào)度研究中。
　　為了更準(zhǔn)確地預(yù)測爬蟲下載網(wǎng)頁的速率，本文提出使用應(yīng)用層上網(wǎng)絡(luò)距離測量代替?zhèn)鹘y(tǒng)的網(wǎng)絡(luò)層距離測量。之后，根據(jù)分布式搜索引擎爬蟲加入退出的隨機(jī)性和

3、不確定性，選用不依賴于固定測量點(diǎn)的距離預(yù)測算法計(jì)算Web節(jié)點(diǎn)網(wǎng)絡(luò)坐標(biāo)。接著，在網(wǎng)絡(luò)時延空間的基礎(chǔ)上，研究和設(shè)計(jì)了劃分準(zhǔn)確性較高的基于迭代自組織的高質(zhì)量Web劃分算法。針對Web劃分結(jié)果，研究了一種對廣域網(wǎng)上的分布式搜索引擎按劃分集合進(jìn)行調(diào)度的算法，兼顧初始任務(wù)分配和動態(tài)調(diào)度時的負(fù)載均衡性。最后，將坐標(biāo)建立、Web劃分、調(diào)度三部分功能組合起來，設(shè)計(jì)了一種可靠性高，支持節(jié)點(diǎn)動態(tài)組織，易于擴(kuò)展的分布式調(diào)度系統(tǒng)體系結(jié)構(gòu)。
　　本文針對應(yīng)用