垂直搜索引擎爬蟲系統(tǒng)的研究與實(shí)現(xiàn).pdf_第1頁(yè)
已閱讀1頁(yè),還剩50頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、隨著因特網(wǎng)的迅猛發(fā)展,WEB信息的增加,用戶要在信息海洋里查找信息,就像大海撈針一樣,搜索引擎服務(wù)能成為最受歡迎的服務(wù)是因?yàn)樗鼛椭脩粼诤棋幕ヂ?lián)網(wǎng)快速的查找信息。在海量的網(wǎng)頁(yè)里找信息,按照傳統(tǒng)方式需要用戶逐個(gè)網(wǎng)站逐級(jí)目錄查找,要耗費(fèi)大量的精力和時(shí)間,幾乎是不可能實(shí)現(xiàn)的任務(wù)?;ヂ?lián)網(wǎng)的信息量爆炸性增長(zhǎng),幾年前全球式搜索引擎收錄的網(wǎng)頁(yè)量只有幾千萬頁(yè),而現(xiàn)在已經(jīng)達(dá)到幾十億頁(yè)。數(shù)量增加帶來的是搜索服務(wù)的品質(zhì)下降,查詢的結(jié)果集已經(jīng)是海量級(jí)的,多達(dá)

2、數(shù)十萬條結(jié)果,結(jié)果里存在大量的重復(fù)信息和垃圾信息。用戶越來越感覺到很難在短時(shí)間內(nèi)準(zhǔn)確的篩選出需要的內(nèi)容,很難迅速的找到需要的信息。因此,搜索服務(wù)需要細(xì)化,需要提供更專業(yè),更有效的服務(wù)。 垂直搜索引擎是針對(duì)某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價(jià)值的信息和相關(guān)服務(wù)。垂直搜索引擎主要涉及的技術(shù)有:爬蟲,網(wǎng)頁(yè)結(jié)構(gòu)化信息抽取技術(shù)或元數(shù)據(jù)采集技術(shù),分詞和索引,其它信息處理技術(shù)。本文的工作主要研究垂直搜索引擎的爬蟲系統(tǒng),并用程

3、序?qū)崿F(xiàn)整個(gè)爬蟲系統(tǒng)。 網(wǎng)絡(luò)爬蟲(也叫網(wǎng)絡(luò)蜘蛛或網(wǎng)絡(luò)機(jī)器人)通過網(wǎng)頁(yè)的鏈接地址來尋找網(wǎng)頁(yè),從網(wǎng)站某一個(gè)頁(yè)面(通常是首頁(yè))開始,讀取網(wǎng)頁(yè)的內(nèi)容,找到在網(wǎng)頁(yè)中的其它鏈接地址,然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè),這樣一直循環(huán)直到把這個(gè)網(wǎng)站所有需要的網(wǎng)頁(yè)都抓取完為止。整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站,爬蟲就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來。爬蟲系統(tǒng)需要運(yùn)用到的技術(shù)有分布式、并發(fā)、鏈接選擇算法、鏈接過濾消重算法等。 有色網(wǎng)(Col

4、oredPetriNet,以下簡(jiǎn)稱CPN)是具有層次性的高級(jí)Petri網(wǎng),是分布式并發(fā)系統(tǒng)建模和分析的最佳工具之一,用它建立的模型是可執(zhí)行的,有利于動(dòng)態(tài)仿真。CPN庫(kù)所的顏色可以是任意復(fù)雜的數(shù)據(jù),大大簡(jiǎn)化系統(tǒng)的復(fù)雜度;具有層次結(jié)構(gòu),可以從整體到局部、由粗到精地把系統(tǒng)分頁(yè),逐步細(xì)化,突出重點(diǎn)。CPN是一種圖形化建模工具,也是一種形式化數(shù)學(xué)工具。本文采用CPN來為爬蟲系統(tǒng)建立模型,并驗(yàn)證其正確性。 但是,CPN是用來描述和分析要開發(fā)

5、的系統(tǒng)模型的工具,不是計(jì)算機(jī)的實(shí)現(xiàn)工具。本文的最終目標(biāo)是要開發(fā)出能夠運(yùn)行的爬蟲系統(tǒng),需要把CPN建立的模型轉(zhuǎn)化成計(jì)算機(jī)的實(shí)現(xiàn)。當(dāng)前主流的軟件開發(fā)技術(shù)是面向?qū)ο蠹夹g(shù),我們也將用面向?qū)ο蠹夹g(shù)實(shí)現(xiàn)爬蟲系統(tǒng)。在面向?qū)ο笙到y(tǒng)使用最為廣泛的建模工具是UML,UML是一種定義良好、易于表達(dá)、功能強(qiáng)大且普遍適用的建模語(yǔ)言。它溶入了軟件工程領(lǐng)域的新思想、新方法和新技術(shù),它的作用域不限于支持面向?qū)ο蟮姆治雠c設(shè)計(jì),還支持從需求分析開始的軟件開發(fā)的全過程。在C

6、PN模型的基礎(chǔ)上,提取用例,建立系統(tǒng)的用例圖,結(jié)合用例圖和CPN模型圖,設(shè)計(jì)系統(tǒng)靜態(tài)圖,主要設(shè)計(jì)系統(tǒng)的關(guān)鍵類,并用狀態(tài)圖說明系統(tǒng)的關(guān)鍵部分。 本文選用java語(yǔ)言作為軟件的實(shí)現(xiàn)工具,因?yàn)閖ava語(yǔ)言有良好的跨平臺(tái)性,可以在window平臺(tái)開發(fā),移植到linux平臺(tái)運(yùn)行。系統(tǒng)選用mysql數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù),linux為運(yùn)行平臺(tái)。作為北京大正語(yǔ)言知識(shí)處理有限公司農(nóng)業(yè)垂直搜索引擎項(xiàng)目的數(shù)據(jù)采集系統(tǒng),要抓取的網(wǎng)站數(shù)量總共92個(gè),新聞資訊類

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論