一種面向主題的分布式爬蟲(chóng)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、Internet技術(shù)的發(fā)展使網(wǎng)絡(luò)中蘊(yùn)含的信息資源和網(wǎng)絡(luò)用戶迅速激增，龐大的用戶群催生了互聯(lián)網(wǎng)的各種搜索應(yīng)用?？焖?、高效、準(zhǔn)確地檢索信息，只靠單臺(tái)計(jì)算機(jī)，無(wú)論是處理能力還是存儲(chǔ)容量都無(wú)法勝任。若采用大型機(jī)，則效費(fèi)比相對(duì)變低。因此，研究和開(kāi)發(fā)廉價(jià)的搜索技術(shù)的需求越來(lái)越大，而近幾年新興的云計(jì)算技術(shù)無(wú)疑提供了一種契機(jī)。鑒于云計(jì)算的重要性，學(xué)術(shù)界和企業(yè)界均在開(kāi)展相關(guān)技術(shù)的研究和應(yīng)用，基于云計(jì)算的搜索引擎是其中重要的應(yīng)用之一。
　　基于此，本

2、文在云計(jì)算開(kāi)放平臺(tái)hadoop的基礎(chǔ)上開(kāi)展了面向主題的分布式爬蟲(chóng)技術(shù)的研究，利用服務(wù)器搭建起hadoop應(yīng)用環(huán)境，并在其上成功地實(shí)現(xiàn)了面向主題的爬蟲(chóng)系統(tǒng)。本文首先從云計(jì)算技術(shù)架構(gòu)出發(fā)，探討了云計(jì)算領(lǐng)域里最為著名的兩個(gè)分布式文件系統(tǒng);第二，對(duì)云計(jì)算領(lǐng)域常用的key/value數(shù)據(jù)庫(kù)之一的Berkeley DB做了深入的研究;第三，對(duì)網(wǎng)絡(luò)爬蟲(chóng)Heritrix做了詳細(xì)的源代碼分析，為以后改造Heritrix從而生成本系統(tǒng)的主題爬蟲(chóng)做好準(zhǔn)備。在