基于查詢擴展的主題爬蟲研究.pdf

1、隨著信息多元化的增長，通用搜索引擎已經(jīng)不能滿足人們對個性化信息檢索服務日益增長的需要，用戶對信息的需求更多的是針對受限領域和面向特定主題的。應對這種需求，需要分類精確、數(shù)據(jù)全面、更新及時的面向主題的搜索，主題爬蟲就是主題搜索引擎的基礎與核心。其基本思想是在爬行過程中按預先定義好的主題有選擇的收集相關網(wǎng)頁，即先確定搜索范圍，再找到最相關的鏈接，避免下載不相關的網(wǎng)頁。因而如何為領域、主題相關性的判定制定準確的規(guī)則；如何利用豐富的上下文，理解

2、用戶的輸入語義，并能返回準確的信息，成為主題爬蟲系統(tǒng)的研究重點。 本文的研究內(nèi)容主要包括： 首先，在分析現(xiàn)有主題爬蟲搜索策略的優(yōu)缺點的基礎上，改進了主題爬蟲系統(tǒng)的框架，并給出工作原理。 然后，建立基于詞語共現(xiàn)的查詢擴展算法，設計具有語義理解能力的主題爬蟲。 接下來，改進現(xiàn)有的PageRank算法，將主題相關度的分析與排序算法結(jié)合起來，提出了主題敏感的FDC-PageRank算法計算網(wǎng)頁優(yōu)先級，實現(xiàn)從語義上