基于領(lǐng)域的網(wǎng)絡(luò)爬蟲技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著Web信息爆炸式的增長(zhǎng)，如何有效的在Web中獲取有用的信息已變得及其困難。搜索引擎在信息檢索中扮演著重要的作用，已經(jīng)為人們?cè)谌粘Ｉ钪羞M(jìn)行信息檢索不可缺少的工具。Yahoo、Google、MSN、百度等商業(yè)搜索引擎正是眾多通用搜索引擎中最成功的典范，但隨著網(wǎng)絡(luò)變得越來(lái)越復(fù)雜，這些通用的搜索引擎也有時(shí)會(huì)在信息領(lǐng)航中也會(huì)迷失方向。然而，最近幾年對(duì)各種搜索技術(shù)的研究方興未艾，基于P2P技術(shù)的流媒體搜索、元搜索技術(shù)、垂直搜索技術(shù)等都成為了搜

2、索領(lǐng)域研究的熱點(diǎn)。 本文對(duì)主題相關(guān)的網(wǎng)絡(luò)爬蟲進(jìn)行研究。深入分析了一個(gè)大規(guī)模的搜索引擎，細(xì)述了其工作原理，常用的幾種搜索策略，并分析了其優(yōu)劣點(diǎn)，隨后從兩個(gè)方面分析了WEB爬蟲的技術(shù)實(shí)現(xiàn)困境：一是通用搜索引擎需要解決的技術(shù)問(wèn)題，二是通用搜索引擎存在的局限性。接著給出了主題相關(guān)的網(wǎng)絡(luò)爬蟲的實(shí)現(xiàn)框圖?？紤]到如何克服高度并發(fā)、以及對(duì)網(wǎng)絡(luò)帶寬的占用問(wèn)題，提出了設(shè)計(jì)一個(gè)DNS解析器，以便于有效的利用網(wǎng)絡(luò)帶寬，減少網(wǎng)絡(luò)傳輸延時(shí)；為了高效的對(duì)頁(yè)面

3、進(jìn)行抓取，保證在進(jìn)行并行抓取時(shí)，各進(jìn)程間通信的問(wèn)題，讓各個(gè)組件之間高效的工作，在設(shè)計(jì)中引入了非阻塞套接字技術(shù)。URL的調(diào)度技術(shù)在網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)中起著關(guān)鍵的作用，提出了基于概率模型的啟發(fā)示度量規(guī)則，讓我們的網(wǎng)絡(luò)系統(tǒng)有著更加智能的路由功能，以便于始終可以向著用戶設(shè)定的主題進(jìn)行頁(yè)面獲取。在給出了基于概率模型的啟發(fā)示度量規(guī)則后，更進(jìn)一步的提出了基于最佳優(yōu)先搜索的隧道技術(shù)，用于克服對(duì)某個(gè)主題在進(jìn)行抓取多次后，若偏離了原先的主題，可以讓其迅速停