擴展語景圖聚焦爬取器實驗研究.pdf

1、Internet的問世，改變了傳統(tǒng)的信息發(fā)布組織方式，實現(xiàn)了全球范圍內(nèi)的信息共享。在Internet上，用戶可以登陸網(wǎng)站，瀏覽網(wǎng)頁，下載自己感興趣的信息。但是，網(wǎng)上信息缺少統(tǒng)一的組織標(biāo)準(zhǔn)。信息的動態(tài)、高速增長使得人們難以及時有效地獲得與特定專題有關(guān)的信息。 Internet網(wǎng)上提供信息最常見的方式為門戶網(wǎng)站，例如Yahoo，網(wǎng)易等提供主題目錄，但是這種主題分類過于寬泛，難以滿足專家、學(xué)者的要求。用戶查到的信息過于淺顯，不能滿足科

2、研工作的需要。 搜索引擎的問世，解決了信息的定位問題，但是第一代搜索引擎例如AltaVista提供的是全文索引，排名只依據(jù)查詢向量與文檔向量的余弦相似度。這種基于局部信息的排名策略不能解決專題信息的收集，返回的結(jié)果太多太亂。 后來的搜索引擎Goolge利用自己的全局網(wǎng)頁排名算法PageRank，較好的解決了結(jié)果的排名。但是它的目標(biāo)主要是網(wǎng)上信息的覆蓋率，與清新度產(chǎn)生矛盾。其網(wǎng)頁排名值需要在三個月之后才能進入排名系統(tǒng)。因此

3、，依靠通用搜索引擎也不易及時獲得專題信息。 聚焦搜索系統(tǒng)彌補了通用搜索引擎的不足。它利用機器學(xué)習(xí)技術(shù)，根據(jù)用戶要求，在網(wǎng)上自動收集用戶指定的專題信息，響應(yīng)快、信息質(zhì)量高、自動化。尤其適合輔助解決科技人員在科研過程中收集查詢特定領(lǐng)域技術(shù)信息的需要。 基于語景圖的聚焦爬取器是近年提出的一種聚焦搜索爬取技術(shù)。它通過分析網(wǎng)頁內(nèi)容和鏈接，指導(dǎo)爬取器沿著迅速導(dǎo)向目標(biāo)文檔的路線前進，可以以較少的爬取無關(guān)網(wǎng)頁為代價，迅速找到更多的目標(biāo)文

4、檔。這一特點，對于專題信息收集，開展專題研究，具有極大的好處。 語景圖聚焦爬取器信息利用率較低。而在實際工作中，可能需要一些次要的相關(guān)信息。為此，本文用隨機爬取器建立語料庫，用語料庫和TF-IDF公式提取特征詞條。利用種子文檔中的鏈接建立擴展語景圖的右層，使擴展后的語景圖(ECG)能夠收集種子文檔所引用的文獻之類的信息。設(shè)計實現(xiàn)的ECG爬取器原型利用自行開發(fā)的元搜索程序獲取種子文檔，利用ECG的各層文檔訓(xùn)練各層NB分類器。利用分

5、類器預(yù)測目前已經(jīng)檢索到的文檔距離目標(biāo)文檔的大致距離。通過輸入好起點和差起點網(wǎng)址進行了實驗。 程序?qū)嶒炞C明，和語景圖(CG)爬取器相比，這種ECG爬取器不僅信息利用率高，而且對已爬取網(wǎng)址的查重在各層已下載隊列中進行，因而ECG爬取器更適合于大規(guī)模爬取。ECG爬取器不僅采集到相關(guān)度高的網(wǎng)頁，而且同時獲得了較多的主題信息。而在CG背景下，這些網(wǎng)頁可能被分到“其他”類而只起到維持連續(xù)爬取功能。實驗還發(fā)現(xiàn)，CG或ECG的層數(shù)與后鏈一層的收

6、獲率存在一定的關(guān)系。通過適當(dāng)構(gòu)造ECG，ECG爬取器還可以爬取具有類似結(jié)構(gòu)的網(wǎng)站，用以收集著名研究機構(gòu)的論文或國外一些高校的主干課程的課件。 這種基于機器學(xué)習(xí)、Web爬取技術(shù)的軟件原型，和傳統(tǒng)的信息檢索工具相比，具有很多的優(yōu)勢。首先，它是一種運行在網(wǎng)上的自動信息檢索工具。用戶可以將自己已經(jīng)收集的結(jié)果作為訓(xùn)練文檔提交爬取器學(xué)習(xí)，然后啟動爬取器運行。爬取器在爬取到用戶預(yù)設(shè)數(shù)目的結(jié)果之后返回結(jié)果列表。其次，它能自動判讀網(wǎng)頁內(nèi)容，最后，