聚焦爬蟲關(guān)鍵技術(shù)研究.pdf

1、主題搜索引擎是搜索引擎的細分和延伸，為特定領(lǐng)域、特定人群或特定需求提供定向信息和個性化信息檢索服務(wù)。聚焦爬蟲是主題搜索引擎的基礎(chǔ)和核心設(shè)施，其主要目標是在有限的時間內(nèi)盡可能多地抓取與給定主題相關(guān)的網(wǎng)頁，已成為Web數(shù)據(jù)挖掘領(lǐng)域的研究熱點之一。
　　 本文基于對聚焦爬蟲的基本結(jié)構(gòu)和工作原理的分析，主要做出如下工作：
　　 (1)通過對幾種經(jīng)典的爬蟲搜索策略的深入研究和對比分析，本文提出了一種綜合考慮內(nèi)容分析和鏈接結(jié)構(gòu)分析算

2、法的策略，該策略綜合考慮爬蟲的立即回報價值和未來回報價值，有效解決了爬蟲“陷入”問題。
　　 (2)在內(nèi)容分析部分，提出了基于多層次分類器的主題相關(guān)性算法，充分利用網(wǎng)頁的結(jié)構(gòu)信息和鏈接上下文信息以提高網(wǎng)頁主題相關(guān)性判斷的準確度。
　　 (3)在鏈接結(jié)構(gòu)分析部分，根據(jù)HITS算法來計算網(wǎng)頁的Hub值和Authority值，以此預測URL的未來回報價值，指導爬蟲穿越主題隧道以爬取更多主題相關(guān)頁面。
　　 (4)最后，