基于Hadoop分布式網(wǎng)絡(luò)爬蟲技術(shù)的研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上站點(diǎn)越來越多，簡單的網(wǎng)絡(luò)爬蟲已經(jīng)不能實(shí)現(xiàn)對(duì)某些大型站點(diǎn)的大數(shù)據(jù)存儲(chǔ)。解決該問題的最關(guān)鍵是引入分布式存儲(chǔ)技術(shù)。Hadoop是具有分布式存儲(chǔ)HDFS(Hadoop Distributes File System)和分布式計(jì)算MapReduce功能的軟件框架，因此對(duì)基于Hadoop的分布式網(wǎng)絡(luò)爬蟲的研究具有重要的意義。
　　本文對(duì)Hadoop存儲(chǔ)系統(tǒng)和網(wǎng)絡(luò)爬蟲技術(shù)分析后，對(duì)計(jì)算URL權(quán)重算法進(jìn)行了改進(jìn)，搭建了

2、分布式爬蟲的整體架構(gòu)，設(shè)計(jì)并實(shí)現(xiàn)了各個(gè)爬蟲模塊。文中主要研究如下:
　　(1)傳統(tǒng)的URL權(quán)重算法只考慮了網(wǎng)頁的目錄深度和重要度，本文改進(jìn)的算法中增加了對(duì)網(wǎng)頁內(nèi)容重要度的考慮，提高了URL計(jì)算權(quán)重的精度。
　　(2)由于在網(wǎng)絡(luò)爬蟲抓取過程中需要頻繁的解析URL，導(dǎo)致對(duì)DNS服務(wù)器的壓力過大。本文采用了DNS緩存技術(shù)，實(shí)現(xiàn)了在短時(shí)間內(nèi)解析同一主機(jī)名下的URL時(shí)，將之前解析過且被存在緩存中的結(jié)果直接進(jìn)行利用。
　　(3)為