垂直搜索引擎爬蟲系統(tǒng)的研究與實現(xiàn).pdf

1、隨著因特網(wǎng)的迅猛發(fā)展，WEB信息的增加，用戶要在信息海洋里查找信息，就像大海撈針一樣，搜索引擎服務能成為最受歡迎的服務是因為它幫助用戶在浩瀚的互聯(lián)網(wǎng)快速的查找信息。在海量的網(wǎng)頁里找信息，按照傳統(tǒng)方式需要用戶逐個網(wǎng)站逐級目錄查找，要耗費大量的精力和時間，幾乎是不可能實現(xiàn)的任務?；ヂ?lián)網(wǎng)的信息量爆炸性增長，幾年前全球式搜索引擎收錄的網(wǎng)頁量只有幾千萬頁，而現(xiàn)在已經達到幾十億頁。數(shù)量增加帶來的是搜索服務的品質下降，查詢的結果集已經是海量級的，多達

2、數(shù)十萬條結果，結果里存在大量的重復信息和垃圾信息。用戶越來越感覺到很難在短時間內準確的篩選出需要的內容，很難迅速的找到需要的信息。因此，搜索服務需要細化，需要提供更專業(yè)，更有效的服務。 垂直搜索引擎是針對某一特定領域、某一特定人群或某一特定需求提供的有一定價值的信息和相關服務。垂直搜索引擎主要涉及的技術有：爬蟲，網(wǎng)頁結構化信息抽取技術或元數(shù)據(jù)采集技術，分詞和索引，其它信息處理技術。本文的工作主要研究垂直搜索引擎的爬蟲系統(tǒng)，并用程

3、序實現(xiàn)整個爬蟲系統(tǒng)。 網(wǎng)絡爬蟲(也叫網(wǎng)絡蜘蛛或網(wǎng)絡機器人)通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站某一個頁面(通常是首頁)開始，讀取網(wǎng)頁的內容，找到在網(wǎng)頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁，這樣一直循環(huán)直到把這個網(wǎng)站所有需要的網(wǎng)頁都抓取完為止。整個互聯(lián)網(wǎng)當成一個網(wǎng)站，爬蟲就可以用這個原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。爬蟲系統(tǒng)需要運用到的技術有分布式、并發(fā)、鏈接選擇算法、鏈接過濾消重算法等。 有色網(wǎng)(Col

4、oredPetriNet，以下簡稱CPN)是具有層次性的高級Petri網(wǎng)，是分布式并發(fā)系統(tǒng)建模和分析的最佳工具之一，用它建立的模型是可執(zhí)行的，有利于動態(tài)仿真。CPN庫所的顏色可以是任意復雜的數(shù)據(jù)，大大簡化系統(tǒng)的復雜度；具有層次結構，可以從整體到局部、由粗到精地把系統(tǒng)分頁，逐步細化，突出重點。CPN是一種圖形化建模工具，也是一種形式化數(shù)學工具。本文采用CPN來為爬蟲系統(tǒng)建立模型，并驗證其正確性。 但是，CPN是用來描述和分析要開發(fā)

5、的系統(tǒng)模型的工具，不是計算機的實現(xiàn)工具。本文的最終目標是要開發(fā)出能夠運行的爬蟲系統(tǒng)，需要把CPN建立的模型轉化成計算機的實現(xiàn)。當前主流的軟件開發(fā)技術是面向對象技術，我們也將用面向對象技術實現(xiàn)爬蟲系統(tǒng)。在面向對象系統(tǒng)使用最為廣泛的建模工具是UML，UML是一種定義良好、易于表達、功能強大且普遍適用的建模語言。它溶入了軟件工程領域的新思想、新方法和新技術，它的作用域不限于支持面向對象的分析與設計，還支持從需求分析開始的軟件開發(fā)的全過程。在C

6、PN模型的基礎上，提取用例，建立系統(tǒng)的用例圖，結合用例圖和CPN模型圖，設計系統(tǒng)靜態(tài)圖，主要設計系統(tǒng)的關鍵類，并用狀態(tài)圖說明系統(tǒng)的關鍵部分。 本文選用java語言作為軟件的實現(xiàn)工具，因為java語言有良好的跨平臺性，可以在window平臺開發(fā)，移植到linux平臺運行。系統(tǒng)選用mysql數(shù)據(jù)庫存儲數(shù)據(jù)，linux為運行平臺。作為北京大正語言知識處理有限公司農業(yè)垂直搜索引擎項目的數(shù)據(jù)采集系統(tǒng)，要抓取的網(wǎng)站數(shù)量總共92個，新聞資訊類